FoE: Der erste Lösungsweg ist bei großen Rechenmodellen der Beste

In den letzten Jahren haben große Rechenmodelle wie DeepSeek‑R1 beeindruckende Fortschritte bei komplexen Logikaufgaben erzielt. Sie zeigen menschlich anmutende Muster, indem sie mehrere alternative Lösungswege erkunden. Doch eine genauere Analyse offenbart ein überraschendes Phänomen: Der erste Lösungsweg ist oft der beste, während spätere Alternativen nicht nur suboptimal, sondern sogar schädlich sein können.

Dieses Ergebnis widerspricht den allgemein akzeptierten Skalierungsregeln für Testzeiten und legt nahe, dass Fehler im Denkpfad mit der Testzeit zusammenzuwachsen scheinen. Durch umfangreiche Experimente wurde das Phänomen als „Forest of Errors“ (FoE) beschrieben – ein baumartiges Netzwerk von Fehlern, das die Qualität späterer Lösungen beeinträchtigt.

Auf Basis dieser Erkenntnisse wurde RED entwickelt, ein selbstgesteuertes, effizientes Denkframework. RED besteht aus zwei Komponenten: Erstens „Refining First“, das das Wachstum von FoE im ersten Lösungsweg unterdrückt, und zweitens „Discarding Subs“, das nachfolgende Fehlerbäume mittels Dual‑Consistency abschneidet.

Die Tests auf fünf Benchmarks und sechs Basismodellen zeigen, dass RED die acht führenden Baselines übertrifft. Verbesserungen von bis zu 19 % werden erzielt, während der Tokenverbrauch um 37,7 % bis 70,4 % reduziert wird. Zusätzlich liefern Vergleichsanalysen der FoE‑Metriken Einblicke, wie RED seine Effektivität erreicht.