LEAD: Durchbruch bei der Fehlervermeidung in Langzeit-Logik von LLMs

In der Forschung zu großen Sprachmodellen (LLMs) bleibt die Ausführung von Aufgaben mit langen Zeithorizonten oft instabil, selbst wenn hochrangige Strategien vorgegeben sind. Durch die Analyse kontrollierter algorithmischer Rätsel zeigte sich, dass die Zerlegung von Aufgaben zwar für die Stabilität unerlässlich ist, jedoch bei extremer Zerlegung ein sogenannter „No-Recovery-Bottleneck“ entsteht. Dieser Engpass resultiert aus einer stark ungleichmäßigen Fehlerverteilung: Fehler, die an wenigen „schwierigen“ Schritten auftreten, werden unvermeidlich und können nicht rückgängig gemacht werden.

Um dieses Problem zu lösen, wurde das Konzept „Lookahead-Enhanced Atomic Decomposition“ (LEAD) entwickelt. LEAD kombiniert eine kurze Zukunftsvalidierung mit der Aggregation überlappender Rollouts. Dadurch erhält man genügend Isolation, um die Stabilität zu wahren, während gleichzeitig genügend lokaler Kontext vorhanden bleibt, um Fehler zu korrigieren. Das Ergebnis ist, dass das Modell o4‑mini in der Lage ist, das Spiel Checkers Jumping bis zur Komplexität n = 13 zu lösen – ein Bereich, in dem extreme Zerlegung bereits bei n = 11 scheitert.