SPPO: Neue Methode für effiziente Langzeit-Logik in Sprachmodellen

Proximal Policy Optimization (PPO) ist ein zentrales Werkzeug, um große Sprachmodelle (LLMs) in Aufgaben des logischen Denkens mit überprüfbaren Belohnungen auszurichten. Bei herkömmlichem token‑basiertem PPO treten jedoch erhebliche Probleme auf: die Zuordnung von Belohnungen über lange Chain‑of‑Thought‑Horizonte ist instabil, und die Speicher­kosten des Wertmodells steigen exponentiell.

Alternative Ansätze ohne Kritiker, wie GRPO, umgehen diese Schwierigkeiten, erfordern jedoch mehrere Stichproben zur Schätzung des Baselines. Das führt zu einem enormen Rechenaufwand und begrenzt die Trainingsdurchsatz‑Kapazität stark.

In der vorliegenden Arbeit wird Sequence‑Level PPO (SPPO) vorgestellt – ein skalierbarer Algorithmus, der die Stichproben‑Effizienz von PPO mit der Stabilität von ergebnisbasierten Updates verbindet. SPPO modelliert das Denk‑Verfahren als ein Sequence‑Level‑Contextual‑Bandit‑Problem und nutzt eine entkoppelte skalare Wertfunktion, um niedrige Varianz‑Vorteils­signale ohne Mehrfach‑Sampling zu erzeugen.

Umfangreiche Experimente an mathematischen Benchmarks zeigen, dass SPPO die Leistung herkömmlicher PPO‑Methoden deutlich übertrifft und gleichzeitig die Ergebnisse rechenintensiver, gruppenbasierter Verfahren erreicht. Damit bietet SPPO einen ressourcenschonenden Rahmen, um LLMs für komplexe, langanhaltende Denkaufgaben zuverlässig auszurichten.