StaRPO: KI-Optimierung mit stabiler Logik für bessere Sprachmodelle

Reinforcement Learning (RL) hat sich als wirkungsvolle Methode erwiesen, um die Genauigkeit großer Sprachmodelle bei komplexen Denkaufgaben zu steigern. Traditionelle RL-Frameworks konzentrieren sich dabei fast ausschließlich auf die Richtigkeit der Endantworten und berücksichtigen kaum die interne logische Struktur des Denkprozesses. Das Ergebnis: Modelle liefern flüssige, semantisch passende Antworten, die jedoch häufig logisch inkonsistent, strukturell chaotisch oder redundant sind.

Um diesem Problem entgegenzuwirken, präsentiert das neue StaRPO-Framework eine stabilitätsorientierte RL-Strategie. StaRPO teilt die Stabilität in zwei leicht berechenbare Metriken auf: die Autokorrelationsfunktion (ACF), die die lokale Kohärenz zwischen aufeinanderfolgenden Schritten misst, und die Path Efficiency (PE), die die globale Zielgerichtetheit der Denktrajektorie bewertet. Diese Stabilitätsbelohnungen werden mit den herkömmlichen Aufgabenbelohnungen kombiniert, um ein umfassenderes, prozesssensitives Feedback zu liefern.

Durch die Analyse von zwei Basismodellen konnte gezeigt werden, dass die ACF- und PE-Belohnungen stark mit logischen Fehlern korrelieren. In vier etablierten Denkbenchmarks übertraf StaRPO konsequent die Vergleichsbaselines und steigerte sowohl die Genauigkeit der Endantworten als auch die logische Stabilität der generierten Argumentationen.