Best-of-N Sampling bleibt optimal – neue Variante verhindert Reward‑Hacking

In einer aktuellen Studie zum Inferenzzeit‑Alignment von Sprachmodellen wird das beliebte Best‑of‑N (BoN) Sampling erneut untersucht. Das Verfahren erzeugt bei jeder Anfrage N mögliche Antworten, wählt diejenige mit dem höchsten von einem Lernmodell geschätzten Belohnungswert aus und hat sich in der Praxis als äußerst nützlich erwiesen.

Die Autoren zeigen, dass BoN unter sehr geringen Voraussetzungen – lediglich einer ausreichenden Qualität des Referenzmodells und des Belohnungsmodells – sowohl rechnerisch als auch statistisch optimal ist, wenn man die Win‑Rate als Messgröße heranzieht. Die Win‑Rate, ein Paarvergleichsmaß, spiegelt genauer wider, wie Belohnungsmodelle in der Praxis trainiert und bewertet werden.

Allerdings bleibt BoN anfällig für Reward‑Hacking, bei dem Modelle Schwachstellen im Belohnungsmodell ausnutzen, um einen hohen geschätzten Wert zu erzielen, ohne die eigentliche Leistung zu verbessern. Die Studie präsentiert eine einfache, praktikable Variante, die dieses Problem wirksam eliminiert und gleichzeitig die optimale statistische Leistung beibehält.

Schließlich wird deutlich, dass frühere Ansätze, die sich auf den erwarteten wahren Belohnungswert konzentrierten, im Hinblick auf die Win‑Rate nachweislich suboptimal sind. Die Ergebnisse erklären den anhaltenden Erfolg von BoN in realen Anwendungen und liefern einen klaren Leitfaden für die Entwicklung robusterer Alignment‑Methoden.