Re^2: LLMs optimieren Denken durch erneutes Starten

Eine neue Methode namens Re^2 (Reinforcement Learning with Re-solving) verspricht, die Rechenleistung großer Sprachmodelle (LLMs) gezielt für bessere Denkprozesse einzusetzen. Durch gezieltes Reinforcement Learning lernen die Modelle, unproduktive Argumentationspfade zu erkennen und bei Bedarf neu zu beginnen – anstatt sich auf eine möglicherweise fehlerhafte Endantwort festzulegen.

Frühere Ansätze wie RLVR (Reinforcement Learning with verifiable rewards) haben gezeigt, dass zusätzliche Rechenzeit die Problemlösungskompetenz von LLMs steigern kann. Dennoch erzeugen die Modelle häufig unnötige und von geringer Qualität Schritte in ihrer „Chain-of-Thought“ (CoT), was zu übermäßigem Nachdenken und schlechteren Antworten führt.

Die Autoren demonstrieren, dass ein suboptimaler Anfang der CoT oft dazu führt, dass das Modell die korrekte Lösung nicht erreicht – selbst wenn es mehrere Male mehr Tokens generiert als bei einer gut initialisierten CoT. Dieses Phänomen verdeutlicht die Notwendigkeit eines flexibleren Denkprozesses.

Re^2 löst dieses Problem, indem es LLMs beibringt, bei Bedarf den aktuellen Denkpfad abzubrechen und den Lösungsprozess neu zu starten. Der Ansatz basiert ausschließlich auf Reinforcement Learning und erfordert keine vorangegangene supervised Fine‑Tuning‑Phase.

Ein bemerkenswertes Ergebnis ist die Steigerung des seltenen „Redo“-Verhaltens von lediglich 0,5 % auf über 30 %. Diese erhöhte Bereitschaft, einen Lösungsversuch zu wiederholen, führt zu erheblichen Leistungsverbesserungen gegenüber herkömmlichem RLVR bei gleichem Trainingsbudget.

Darüber hinaus zeigen die Experimente, dass die Testzeit-Leistung mit zunehmender Stichprobengröße weiter steigt, was Re^2 zu einer vielversprechenden Technik für die praktische Anwendung in KI‑gestützten Entscheidungsprozessen macht.