T-STAR: Neue Methode verbessert Mehrschritt-Entscheidungen von Sprachagenten

Reinforcement‑Learning‑Modelle für große Sprachagenten stoßen häufig an die Grenze sparsamer Belohnungen, wenn sie komplexe, mehrstufige Denkaufgaben lösen sollen. Traditionelle Ansätze wie Group Relative Policy Optimization behandeln die erfassten Trajektorien als unabhängige Ketten und vergeben jedem Schritt gleichermaßen einen Kredit. Dadurch bleiben entscheidende Zwischenschritte, die das Ergebnis stark beeinflussen, unbemerkt.

Mit T‑STAR (Tree‑structured Self‑Taught Agent Rectification) wird dieses Problem angegangen, indem Trajektorien zu einem einheitlichen „Cognitive Tree“ zusammengeführt werden. Ähnliche Schritte und Knoten werden erkannt und verschmolzen, wodurch ein strukturiertes Netzwerk entsteht, das die latente, korrelierte Belohnungsstruktur sichtbar macht. Durch einen introspektiven Bewertungsmechanismus werden Trajektorien‑Belohnungen rückwärts durch den Baum propagiert, was zu einer varianzreduzierten, schrittweisen relativen Vorteilsschätzung führt.

Ein weiteres Highlight ist das In‑Context Thought Grafting: Hier werden erfolgreiche und fehlgeschlagene Zweige an kritischen Divergenzpunkten kontrastiert, um korrigierende Denkpfade zu synthetisieren. Anschließend nutzt die Surgical Policy Optimization die reichhaltigen Gradienteninformationen an diesen kritischen Punkten, indem sie einen Bradley‑Terry‑ähnlichen chirurgischen Verlust einsetzt. Dadurch wird die Lernrate gezielt dort verstärkt, wo sie am meisten gebraucht wird.

Umfangreiche Tests auf eingebetteten, interaktiven, reasoning‑ und planungsbasierten Benchmarks zeigen, dass T‑STAR gegenüber starken Baselines konsistente Verbesserungen erzielt – besonders bei Aufgaben, die lange, zusammenhängende Denkketten erfordern. Diese Fortschritte markieren einen bedeutenden Schritt in Richtung effizienter, nachvollziehbarer KI‑Entscheidungsfindung.