Neue Beta-Bernoulli-Schätzung verbessert RL mit verifizierbaren Belohnungen

Ein neues Verfahren namens Discounted Beta–Bernoulli (DBB) verspricht, die Effizienz von Reinforcement‑Learning‑Modellen mit verifizierbaren Belohnungen drastisch zu erhöhen. Durch die Umformulierung des Problems als statistische Schätzung der Belohnungsverteilung nutzt DBB historische Daten, um die Varianz der Schätzungen zu reduzieren und das Phänomen der Varianz­kollaps zu vermeiden.

Traditionelle RL‑Methoden mit verifizierbaren Belohnungen (RLVR) basieren häufig auf punktuellen Schätzungen aus wenigen Rollouts. Diese Vorgehensweise führt zu hoher Schätzungsvarianz und ineffizienter Nutzung der generierten Antworten. DBB hingegen betrachtet die Belohnungen als Stichproben aus einer von der Politik erzeugten Verteilung und schätzt diese Verteilung aus endlich vielen Datenpunkten. Obwohl die Schätzung leicht verzerrt ist, zeigt sie eine stabilere Varianz und einen geringeren mittleren quadratischen Fehler als herkömmliche Punkt­schätzungen.

In umfangreichen Tests auf sechs In‑Distribution‑ und drei Out‑of‑Distribution‑Benchmarks übertraf GRPO mit DBB die naive Variante signifikant. Auf Modellen mit 1,7 Billionen und 8 Billionen Parametern wurden durchschnittliche Verbesserungen von 3,22 bzw. 2,42 Punkten in‑Distribution und 12,49 bzw. 6,92 Punkten Out‑of‑Distribution bei der Accuracy@8 erzielt – ohne zusätzlichen Rechenaufwand oder Speicherbedarf.