Jackpot: Budgeted Rejection Sampling stabilisiert RL für große Sprachmodelle

Reinforcement‑Learning‑Ansätze für große Sprachmodelle (LLMs) sind bislang sehr kostenintensiv, weil die Rollouts selbst teuer sind. Durch die Trennung von Rollout‑Generierung und Policy‑Optimierung könnte die Effizienz stark gesteigert werden – allerdings führt dies zu einem gravierenden Verteilungskonflikt, der das Lernen destabilisiert.

Das neue Framework Jackpot löst dieses Problem, indem es das Verfahren Optimal Budgeted Rejection Sampling (OBRS) einsetzt. OBRS reduziert gezielt die Diskrepanz zwischen dem Rollout‑Modell und der sich entwickelnden Policy, während ein einheitliches Trainingsziel beide Modelle gleichzeitig aktualisiert.

Dank einer effizienten Systemimplementierung, die Top‑k‑Wahrscheinlichkeiten nutzt und Bias‑Korrekturen auf Batch‑Ebene vornimmt, zeigt die theoretische Analyse, dass OBRS die Rollout‑Verteilung konsequent näher an die Zielverteilung bringt – und das unter einem kontrollierbaren Akzeptanzbudget. Praktische Tests mit dem Modell Qwen3‑8B‑Base demonstrieren, dass Jackpot die Trainingsstabilität deutlich verbessert und Leistungen erreicht, die mit on‑policy RL vergleichbar sind, bereits nach 300 Update‑Schritten bei einer Batch‑Größe von 64.

Die Ergebnisse deuten darauf hin, dass OBRS‑basierte Ausrichtung ein entscheidender Schritt in Richtung einer praktikablen und effektiven Trennung von Rollout‑Generierung und Policy‑Optimierung im RL für LLMs ist.