RPO: Mit reflektiven Hinweisen die On-Policy‑Ausrichtung von Modellen verbessern
Die neue Methode Reflective Preference Optimization (RPO) setzt einen frischen Impuls in der Welt der KI‑Ausrichtung. Während Direct Preference Optimization (DPO) bereits als leichtgewichtige Alternative zu RLHF und RLAIF gilt, stößt es bei der üblichen Formulierung – bei der sowohl die gewählte als auch die abgelehnte Antwort vom selben Modell erzeugt werden – an Grenzen. Die beiden Antworten teilen häufig ähnliche Fehler, was zu einer schwachen Lernsignalstärke und damit zu langsamer, instabiler Konvergenz führt.
RPO löst dieses Problem, indem es externe Modelle nutzt, um Halluzinationen zu identifizieren und prägnante reflektierende Hinweise zu generieren. Diese Hinweise ermöglichen die Bildung von On‑Policy‑Präferenzpaaren mit deutlich stärkerer Kontrastivität und klareren Präferenzsignalen. Theoretisch zeigt die Arbeit, dass die Bedingung auf Hinweise die erwartete Präferenzmarge durch gegenseitige Information erhöht und die Stichprobeneffizienz verbessert, ohne die Policy‑Verteilung zu verlassen.
In praktischen Tests übertrifft RPO die bisherigen Ansätze: Es erzielt eine bessere Ausrichtung mit weniger Trainingssamples und Iterationen, senkt die Halluzinationsrate erheblich und liefert Spitzenleistungen auf multimodalen Benchmarks. Die Methode bietet damit einen vielversprechenden Weg, KI‑Modelle schneller und zuverlässiger an menschliche Präferenzen anzupassen.