Transformers lernen Planung durch Mehr-Token-Vorhersage

Eine neue Untersuchung auf arXiv zeigt, dass Transformer‑Modelle mit einer Mehr‑Token‑Vorhersage (MTP) deutlich besser in der Lage sind, komplexe Planungsaufgaben zu lösen als die herkömmliche Next‑Token‑Prediction (NTP). Durch das gleichzeitige Vorhersagen mehrerer Tokens kann das Modell globale Strukturen erfassen, die bei NTP oft verloren gehen.

In umfangreichen Experimenten übertrifft MTP NTP konsequent bei synthetischen Graphpfadfindungsaufgaben sowie bei realistischeren Benchmarks wie Countdown und booleschen Erfüllbarkeitsproblemen. Die Ergebnisse deuten darauf hin, dass MTP die Lernfähigkeit für sequentielle Entscheidungsprozesse erheblich verbessert.

Die Autoren führen zudem eine theoretische Analyse eines vereinfachten Zwei‑Schichten‑Transformers auf einem Sterngraphen durch. Sie zeigen, dass MTP einen zweistufigen Rückwärts‑Reasoning‑Prozess induziert: Zunächst richtet das Modell seine Aufmerksamkeit auf den Endknoten und rekonstruiert anschließend den Pfad, indem es die Zwischenschritte rückwärts verfolgt. Dieser Mechanismus entsteht durch eine Gradient‑Decoupling‑Eigenschaft von MTP, die ein klareres Trainingssignal liefert als bei NTP.

Die Studie unterstreicht, dass Multi‑Token‑Ziele die Optimierung systematisch in Richtung robuster und interpretierbarer Reasoning‑Zirkel lenken. Damit eröffnet MTP einen vielversprechenden Ansatz, um die kognitive Leistungsfähigkeit von Sprachmodellen weiter zu steigern.