Effizientes Lernen aus menschlichem Feedback: Bayesianische Präferenzinferenz

Ein neues Forschungsprojekt auf arXiv präsentiert einen hybriden Ansatz, der die Skalierbarkeit von Reinforcement Learning from Human Feedback (RLHF) mit der hohen Sample‑Effizienz von Preference‑Based Optimization (PBO) kombiniert. Durch die Integration eines akquisitionsgesteuerten Moduls in den RLHF‑Workflow können menschliche Präferenzen aktiv und gezielt abgefragt werden, wodurch weniger Daten benötigt werden, um die gleichen oder bessere Ergebnisse zu erzielen.

Die Autoren haben ihr Konzept in zwei praxisnahen Szenarien getestet: erstens bei der Optimierung hochdimensionaler Präferenzmodelle und zweitens beim Feintuning großer Sprachmodelle (LLMs). In beiden Fällen zeigte sich eine konsequente Verbesserung der Dateneffizienz und der Gesamtleistung im Vergleich zu herkömmlichen RLHF‑Methoden.

Der Ansatz eröffnet neue Möglichkeiten, um maschinelles Lernen stärker an subjektiven menschlichen Bewertungen auszurichten, ohne dabei die notwendige Skalierbarkeit für komplexe Aufgaben zu verlieren. Die Ergebnisse deuten darauf hin, dass die Kombination von aktiven Abfrageverfahren mit etablierten RLHF‑Techniken ein vielversprechender Weg ist, um die Entwicklung von KI-Systemen effizienter und zielgerichteter zu gestalten.