MOONSHOT: Mehrdimensionales Pruning für Vision‑ und Sprachmodelle

Ein neues Framework namens MOONSHOT wurde vorgestellt, das die Kompression von Vision‑ und großen Sprachmodellen revolutioniert. Durch die Kombination mehrerer Optimierungsziele bietet es eine robuste Alternative zu herkömmlichen One‑Shot‑Pruning‑Methoden.

Traditionelle One‑Shot‑Pruning‑Ansätze konzentrieren sich meist auf ein einziges Ziel, etwa die Rekonstruktionsgenauigkeit einer Schicht oder die zweite‑Ordnung‑Taylor‑Approximation des Trainingsverlusts. Diese Einzelziele sind jedoch nicht immer die beste Wahl – je nach Architektur und gewünschter Sparsität variieren ihre Wirksamkeiten stark.

MOONSHOT löst dieses Problem, indem es beide Ziele – die Schicht‑weise Rekonstruktionsfehler und die Taylor‑Approximation – gleichzeitig optimiert. Das Ergebnis ist ein flexibles, generisches Verfahren, das beliebige ein‑Ziel‑Pruner als „Wrapper“ nutzt und sie in ein mehrdimensionales Optimierungsproblem überführt.

Um die Skalierbarkeit auf Modelle mit Milliarden von Parametern zu gewährleisten, wurden gezielte Modellierungsentscheidungen getroffen. Insbesondere wurde ein effizienter Algorithmus zur Berechnung der inversen Hessian‑Matrix eingeführt, der die Performance der bestehenden One‑Shot‑Pruner beibehält, ohne die Rechenkosten zu erhöhen.

In praktischen Tests zeigte MOONSHOT beeindruckende Ergebnisse. Bei den Llama‑Modellen (Llama‑3.2 und Llama‑2) konnte die C4‑Perplexität bei 2:4‑Sparsität um bis zu 32,6 % reduziert und die Zero‑Shot‑Genauigkeit über sieben Klassifikationsbenchmarks um bis zu 4,9 Punkte gesteigert werden.

Auch im Bereich der Vision‑Transformer erzielte MOONSHOT signifikante Verbesserungen: Die Genauigkeit auf ImageNet‑1k stieg bei 70 % Sparsität um mehr als 5 Punkte, während ResNet‑50 bei 90 % Sparsität einen Gewinn von 4 Punkten verzeichnete.

MOONSHOT demonstriert, dass ein multi‑objective Ansatz die Grenzen herkömmlicher Pruning‑Methoden sprengen kann. Durch die Kombination von Rekonstruktionsgenauigkeit und Verlustapproximation liefert es eine leistungsstarke, skalierbare Lösung für die effiziente Kompression moderner KI‑Modelle.