Neues Lernverfahren: Alternierendes RL nutzt Rubrikbasierte Belohnungen

Ein neues Framework namens Alternating Reinforcement Learning with Rubric Rewards (ARL‑RR) erweitert die Möglichkeiten des Reinforcement Learning, indem es strukturierte, mehrdimensionale Rubrikbewertungen statt einfacher Skalarpräferenzen verwendet. Dadurch können komplexe, kontextbezogene Feedbacksignale direkt in den Lernprozess einfließen.

Im Gegensatz zu bisherigen Ansätzen, die die Rubrikwerte zu einem einzigen Skalar zusammenfassen und dabei wichtige Zusammenhänge zwischen den Dimensionen verlieren, optimiert ARL‑RR schrittweise einzelne Meta‑Klassen der Rubrik. Diese abwechselnde Optimierung eliminiert die Notwendigkeit einer festen Gewichtung und reduziert die Varianz der Belohnungen, was laut theoretischer Analyse die Leistung verbessert.

Ein leichtgewichtiges, suchbasiertes Anpassungsverfahren wählt dynamisch die nächste Meta‑Klasse aus, basierend auf der aktuellen Aufgabenleistung. So kann das Modell gezielt die wichtigsten Ziele betonen und dadurch die Gesamtleistung steigern.

Experimentelle Ergebnisse auf dem HealthBench‑Datensatz, der Expertenannotationen enthält, zeigen, dass ARL‑RR in allen getesteten Modellgrößen – von 1,7 B bis 14 B Parametern – sowohl die Modellleistung als auch die Trainingseffizienz gegenüber herkömmlichen Skalar‑Aggregation‑Methoden deutlich übertrifft.