Neuer Ansatz: Autoregressive DPO optimiert Sprachmodelle nach menschlichen Präferenzen

Die jüngste Arbeit auf arXiv präsentiert einen bedeutenden Fortschritt in der Ausrichtung großer Sprachmodelle (LLMs) auf menschliche Vorlieben. Während die bisherige Methode des Direct Preference Optimization (DPO) auf dem Bradley‑Terry (BT)-Modell basiert, wird hier die Autoregressive Annahme bereits vor der Anwendung des BT-Modells explizit integriert. Das Ergebnis ist die Variante Autoregressive DPO (ADPO), die die Autoregressive Modellierung direkt in den Optimierungsrahmen einbettet. Durch eine elegante Umformulierung verschiebt sich die Summation im DPO‑Ziel außerhalb der Log‑Sigmoid‑Funktion, was die Berechnung vereinfacht und die theoretische Konsistenz bewahrt. Darüber hinaus identifiziert die Studie zwei unterschiedliche Längenmaße – die Tokenlänge μ und die Feedbacklänge μ′ – und analysiert deren Einfluss auf die Präferenzoptimierung. Mit dieser klaren Unterscheidung liefert ADPO einen neuartigen Ansatz, der das volle Potenzial von DPO für die Anpassung von LLMs an menschliche Präferenzen erschließt.