GFT: Feintuning mit Gruppenvorteilen und dynamischer Koeffizientenkorrektur

In der Welt der großen Sprachmodelle ist das Feintuning nach dem Training mit überwachten Lernmethoden (SFT) und anschließendem Reinforcement Learning (RL) Standard. Doch die Herausforderung, Wissen effizient einzubetten und gleichzeitig eine robuste Generalisierung zu gewährleisten, bleibt bestehen. Ein neues Analysewerkzeug zeigt, dass SFT im Kern einer Policy‑Gradient‑Optimierung mit extrem spärlichen impliziten Belohnungen und instabilen inverse‑Probability‑Gewichtungen entspricht. Diese Kombination führt zu Abhängigkeiten von einzelnen Pfaden, Entropie­kollaps und sogar zu Gradientenschüben.

Auf dieser Diagnose aufbauend, präsentiert das Team die Group Fine‑Tuning‑Methode (GFT). GFT vereint zwei zentrale Mechanismen: Erstens „Group Advantage Learning“, das vielfältige Antwortgruppen bildet und daraus normalisierte kontrastive Supervisionen ableitet, um die Belohnungssparsheit zu mildern. Zweitens „Dynamic Coefficient Rectification“, das die inverse‑Probability‑Gewichte adaptiv begrenzt, um die Optimierung zu stabilisieren und gleichzeitig die effiziente Wissensinjektion zu bewahren.

Experimentelle Ergebnisse belegen, dass GFT bestehende SFT‑basierte Ansätze konsequent übertrifft. Die daraus resultierenden Politiken lassen sich zudem nahtlos in nachfolgende RL‑Schritte integrieren, was die Gesamtleistung der Modelle weiter steigert. GFT markiert damit einen bedeutenden Fortschritt auf dem Weg zu leistungsfähigeren und stabileren Sprachmodellen.