Neue Distillationstechnik stärkt LLMs: Explanatory Inversion & REINFORCE

Forscher haben einen neuen Ansatz entwickelt, um die Lernfähigkeit großer Sprachmodelle (LLMs) in kleinere, ressourcenschonende Modelle zu übertragen. Der Schlüssel liegt in der Kombination von „Explanatory Inversion“ (EI) und einem Reinforcement-Learning-Algorithmus namens EXGRPO, der die Logik hinter Antworten gezielt erfasst.

EI erzeugt gezielte „Erklärprobe“-Fragen, die das Schülermodell dazu zwingen, die zugrunde liegende Logik zu formulieren, anstatt nur Muster auswendig zu lernen. Dadurch wird die Gefahr von oberflächlicher Mustererkennung deutlich reduziert.

EXGRPO ergänzt dies, indem es ein neues „Dialogue Structure Utility Bonus“-System nutzt, das das Modell belohnt, wenn es einen zusammenhängenden Denkprozess über die Probefragen hinweg beibehält. In umfangreichen Tests auf zwölf Datensätzen erzielte die Methode mit dem 7‑Billionen‑Parameter‑Modell Gemma-7b einen durchschnittlichen Leistungszuwachs von 20,39 % gegenüber Zero‑Shot und 6,02 % gegenüber den besten bisherigen Distillationsverfahren.

Darüber hinaus zeigt die Technik eine bemerkenswerte Effizienz: Sie erreicht vergleichbare Ergebnisse mit 10‑25 % weniger Trainingsdaten als herkömmliches Fine‑Tuning und generalisiert stark auf Aufgaben außerhalb der Trainingsverteilung. Der Code ist öffentlich verfügbar unter https://github.com/Zhen-T.