Diversity-Aware Reverse Kullback-Leibler Divergenz für LLM-Distillation

Die Reverse Kullback-Leibler (RKL)-Divergenz hat sich in den letzten Monaten als das bevorzugte Ziel für die Distillation großer Sprachmodelle etabliert. Sie übertrifft die klassische Forward KL (FKL) konsequent, vor allem in Szenarien mit umfangreichen Vokabularen und einer deutlichen Kapazitätsdifferenz zwischen Lehrer- und Schülermodell. RKL lenkt das Lernen gezielt auf die dominanten Moden, anstatt eine dichte Ausrichtung zu erzwingen.

Allerdings bringt RKL eine strukturelle Einschränkung mit sich: Es treibt das Schülermodell zu übermäßig selbstsicheren Vorhersagen. Durch die Art der Gradienten wird die Vielfalt der Ausgaben reduziert und die Abstimmung auf seltene Klassen verschlechtert.

Eine detaillierte Analyse zerlegt die Gradienten von RKL in Ziel- und Nicht-Ziel-Komponenten. Dabei zeigt sich, dass die Nicht-Ziel-Gradienten den Ziel-Logit immer weiter anheben, selbst wenn das Modell bereits die Lehrer-Ausgabe exakt reproduziert. Dies führt zu einer systematischen Verringerung der Ausgabediversität.

Um diese Probleme zu beheben, wurde die Diversity-aware RKL (DRKL) entwickelt. DRKL eliminiert den schädlichen Gradienteneffekt, stärkt die Supervision für Nicht-Ziel-Klassen und erhält gleichzeitig die Optimierungsvorteile von RKL.

Umfangreiche Experimente über verschiedene Datensätze und Modellfamilien hinweg belegen, dass DRKL konsequent FKL, RKL und andere moderne Distillationsziele übertrifft. Es erzielt nicht nur höhere Leistung, sondern bietet auch ein deutlich verbessertes Verhältnis zwischen Genauigkeit und Ausgabediversität.