DIET: Training-freies, dimensionsweises Pruning für LLMs – Mehr Effizienz

Die neue Methode DIET (Dimension-wise global pruning of LLMs via merging Task-specific Importance Score) bietet einen innovativen Ansatz, um große Sprachmodelle ohne zusätzlichen Trainingsaufwand zu optimieren. Durch die Analyse von Aktivierungsgrößen mit nur 100 Beispielen pro Aufgabe erstellt DIET einen globalen Maskenplan, der die wichtigsten Dimensionen auswählt.

Im Gegensatz zu herkömmlichen, task-agnostischen Verfahren berücksichtigt DIET die spezifischen Anforderungen einzelner Aufgaben, während es gleichzeitig die Kosten für Vorverarbeitung und Training minimiert. Die Technik nutzt Mehrheitsabstimmung, um eine einheitliche, sparsamer Maskenstruktur zu erzeugen, die auf allen Aufgaben konsistent funktioniert.

Experimentelle Ergebnisse auf sieben Zero-Shot-Benchmarks mit den Modellen Gemma‑2 2B und 9B zeigen, dass DIET bei 20 % Sparsität die durchschnittliche Genauigkeit um nahezu 10 % steigert – ein deutlicher Vorsprung gegenüber bestehenden strukturierten Pruning-Methoden. Dieser Vorteil bleibt über verschiedene Sparsitätsstufen und Modellgrößen hinweg erhalten, was DIET zu einer praktikablen und robusten Lösung für die effiziente Nutzung von LLMs macht.