Neue Methode senkt Rechenaufwand bei Sprachmodellen

Sprachmodelle, die beim Lösen von Aufgaben lange Gedankengänge ausgeben, sind oft sehr leistungsfähig – aber auch extrem rechenintensiv. Eine neue Technik namens Truncated‑Reasoning Self‑Distillation (TRSD) reduziert diesen Aufwand, ohne die Genauigkeit zu opfern.

Bei TRSD wird zunächst ein „Lehrmodell“ eingesetzt, das einen vollständigen Gedankengang erzeugt und die zugehörige Antwortverteilung berechnet. Diese Verteilung dient als synthetisches Trainingsziel. Anschließend wird ein „Schülermodell“, das dieselbe Architektur besitzt, darauf trainiert, die gleiche Antwortverteilung zu reproduzieren, jedoch nur unter Verwendung eines gekürzten Teils des Gedankengangs.

Tests an verschiedenen Rechenaufgaben und bei unterschiedlichen Token‑Beschränkungen zeigen, dass TRSD die Robustheit gegenüber gekürzten Inferenzschritten deutlich erhöht. Gleichzeitig bleibt die Genauigkeit weitgehend erhalten, während die Modelle selbst dazu neigen, kürzere Gedankengänge zu erzeugen – selbst wenn keine künstliche Kürzung angewendet wird. Das Ergebnis: weniger Rechenzeit, geringere Kosten und gleichzeitig starke Leistung.