SKPO: Sprungverbindung optimiert KI-Logik und steigert Leistung um 6 %

In der jüngsten Veröffentlichung auf arXiv wird ein neuer Ansatz zur Optimierung von KI-Logik vorgestellt, der die Grenzen des bisherigen Group Relative Policy Optimization (GRPO) sprengt. GRPO hat sich in der RLVR-Community als wirksam erwiesen, indem es auf ergebnisbasierte Belohnungen setzt. Doch die Idee, fein abgestufte, dichte Belohnungen einzusetzen, um die Leistung weiter zu steigern, stößt bei realen Stichprobengrenzen an ihre Grenzen.

Die Autoren zeigen, dass Monte‑Carlo‑Schätzungen bei begrenzten Stichproben zu hochvarianten und sogar vorzeicheninkonsistenten Vorteilen für frühe Rechenschritte führen. Das Ergebnis ist paradox: Statt die Leistung zu verbessern, unterlegen die dichten Belohnungen die reine Ergebnis‑basierten Varianten von GRPO.

Um dieses Problem zu lösen, wird Skip‑Connected Optimization (SKPO) eingeführt. SKPO teilt die Rechenlogik in zwei Phasen auf: eine „upstream“-Phase, die dichte Belohnungen aus der downstream‑Monte‑Carlo‑Sampling‑Phase erhält und mit einer ein‑Stream‑Optimierung arbeitet, sowie eine „downstream“-Phase, die die gruppenrelative Optimierung beibehält. Durch eine Skip‑Connection wird das upstream‑Segment mit dem ursprünglichen Problem verknüpft, sodass das Modell von nützlichen Vorrechnungen profitieren kann, gleichzeitig aber die Möglichkeit hat, fehlerhafte Schritte zu umgehen und direkt auf das Problem zurückzugreifen.

Experimentelle Ergebnisse belegen die Wirksamkeit von SKPO: Auf den Modellen Qwen2.5‑Math‑7B und Llama‑3.2‑3B erzielt SKPO relative Verbesserungen von 3,91 % bzw. 6,17 % gegenüber den stärksten Baselines. Diese Steigerungen gelten sowohl für mathematische Benchmarks als auch für out‑of‑domain‑Aufgaben wie allgemeine Logik und Code‑Generierung.

Eine weitere Analyse offenbart einen impliziten Vorteil: SKPO erzeugt Trajektorien mit höherer Qualität in den Zwischenschritten, selbst wenn die Endergebnisse gleichwertig sind. Damit liefert SKPO nicht nur bessere Endergebnisse, sondern verbessert auch die gesamte Rechenkette der KI‑Logik.