Sprachmodelle lernen aus Nutzerinteraktionen: Alignment und Personalisierung

Mehrere Dialogschritte mit Nutzern stellen die reichste Quelle an Daten dar, die Sprachmodelle erzeugen. Trotz ihrer Fülle werden sie häufig ignoriert, obwohl sie wertvolle Hinweise enthalten: Ein Folgeanfrage kann zeigen, dass eine Antwort falsch war, einer Anweisung nicht gefolgt wurde oder nicht den Präferenzen des Nutzers entsprach.

Die neue Methode nutzt diese Hinweise, indem sie das Modell auf die Folgeanfrage konditioniert und die resultierende Tokenverteilung mit der ursprünglichen Politik vergleicht. Der daraus entstehende „Hindsight“-Verteilungspool dient als Ziel für die Aktualisierung der Politik, die anschließend durch Self‑Distillation in das aktuelle Modell zurückgeführt wird.

Durch das Training mit echten Konversationen aus WildChat zeigen die Experimente, dass die Modelle auf Standard‑Alignment‑ und Instruktions‑Benchmarks deutlich besser abschneiden, ohne andere Fähigkeiten zu verlieren. Gleichzeitig ermöglicht die Technik eine kontinuierliche Personalisierung, bei der das Modell sich ohne explizites Feedback an einzelne Nutzer anpasst.

Diese Ergebnisse verdeutlichen, dass rohe Nutzerinteraktionen – die während des Einsatzes natürlicherweise entstehen – ein kraftvoller Treiber für Alignment, Personalisierung und kontinuierliche Anpassung von Sprachmodellen sein können.