SODA: Semi On‑Policy Distillation für große Sprachmodelle

Die Distillation von Black‑Box‑Modellen für große Sprachmodelle steht vor einem strengen Kompromiss: Off‑Policy‑Methoden wie die sequentielle Wissensdistillation können die Fehler des Schülers kaum korrigieren, während vollständig on‑Policy‑Ansätze wie Generative Adversarial Distillation zwar die Fehler beheben, aber mit instabilen Trainings und enormem Rechenaufwand einhergehen.

Mit SODA – Semi On‑Policy Distillation with Alignment – wird dieser Dilemma gelöst. Das Verfahren nutzt die inhärente Leistungslücke zwischen hochentwickelten Lehrern und kleineren Basismodellen. Durch die Kombination der optimalen Antwort des Lehrers mit einem einmaligen statischen Snapshot der Schülerausgaben entsteht ein starkes kontrastives Signal, das die Verteilung ausgleicht, ohne auf kostspielige Rollouts oder instabile adversariale Trainings angewiesen zu sein.

Die Vorteile sind deutlich: SODA eliminiert die Notwendigkeit dynamischer Rollouts, verhindert adversariale Instabilität, trainiert zehnmal schneller und spart 27 % weniger GPU‑Speicher.

In umfangreichen Tests mit vier kompakten Qwen2.5‑ und Llama‑3‑Modellen erreicht SODA 15 von 16 Benchmark-Ergebnissen, übertrifft die führenden Methoden und demonstriert damit die Effektivität des semi on‑policy Paradigmas.