Neue Methode Best-of-Tails optimiert die Ausrichtung großer Sprachmodelle

In der Welt der großen Sprachmodelle (LLMs) sorgt die sogenannte Inference‑Time‑Alignment dafür, dass ein Modell mehrere Antwortkandidaten generiert und anschließend den besten auswählt – allerdings mit einem nicht perfekten Belohnungsmodell. Traditionelle Ansätze stehen dabei vor einem Dilemma: Optimistische Strategien wie Best‑of‑N neigen zu Belohnungs‑Hacking, während pessimistische, regularisierte Methoden die notwendige Erkundung einschränken und damit potenziell hochwertige Antworten verfehlen.

Die neue Studie formalisiert dieses Spannungsfeld mithilfe von Regret‑Minimierung und zeigt, dass die optimale Vorgehensweise stark vom „Tail‑Verhalten“ der Belohnungsverteilung abhängt. In leicht verteilten Regimen lohnt sich Optimismus, um seltene, aber exzellente Ausgaben zu entdecken. Bei stark verteilten Regimen hingegen ist Pessimismus entscheidend, um Fehler bei extremen Belohnungen zu vermeiden.

Auf dieser Grundlage wurde Best‑of‑Tails (BoT) entwickelt – ein adaptives Alignment‑Framework, das die Tsallis‑Divergenz als einstellbaren Regularisierer nutzt, um fein abgestimmte Übergänge zwischen Optimismus und Pessimismus zu ermöglichen. BoT setzt den Hill‑Estimator ein, um die Schwere der Belohnungstails pro Prompt zu bestimmen, und passt die Auswahlregel dynamisch an, um Erkundungsvorteile mit Alignment‑Fehlern in Einklang zu bringen.

In umfangreichen Tests, die Mathematik, Multiple‑Choice‑Logik und menschliche Präferenzbewertungen umfassen, übertrifft BoT die Leistung fester Strategien bei einer Vielzahl von Referenz‑ und Belohnungsmodellen. Die Ergebnisse deuten darauf hin, dass adaptive Tail‑Analyse ein vielversprechender Weg ist, um die Zuverlässigkeit und Qualität großer Sprachmodelle weiter zu steigern.