Online‑Lernalgorithmus steigert RLHF‑Daten­effizienz um bis zu 1000‑fach

Ein neues Online‑Lernverfahren, das die Daten­effizienz von Reinforcement Learning mit menschlichem Feedback (RLHF) drastisch steigert, wurde auf arXiv veröffentlicht. Der Ansatz aktualisiert Belohnungs‑ und Sprachmodelle kontinuierlich, sobald neue Auswahldaten eintreffen, und nutzt dafür eine Variante des REINFORCE‑Algorithmus, bei dem die Rückmeldungen vom Belohnungsmodell stammen.

Die Effizienzsteigerung beruht auf drei Kernkomponenten: einem kleinen, positiven „Nudge“, der jedes Verstärkungs­signal leicht erhöht; einem epistemischen neuronalen Netzwerk, das die Unsicherheit der Belohnung modelliert; und einer informations­basierten Exploration, die gezielt neue Datenpunkte auswählt. Mit dem großen Sprachmodell Gemma konnte das Verfahren die Leistung eines offline‑trainierten RLHF, das 200 000 Labels benötigte, bereits mit weniger als 20 000 Labels erreichen – ein Mehrfacher von über zehn.

Die Autoren prognostizieren, dass ein Training mit einer Million Labels die gleiche Qualität liefern würde wie ein offline‑trainiertes Modell mit einer Milliarde Labels, was einen Daten­effizienz‑Gewinn von 1 000‑fach bedeutet. Nach ihrer Einschätzung sind dies die ersten Ergebnisse, die zeigen, dass solch enorme Verbesserungen möglich sind.