RMT-KD: Mathematisch fundierte Kompression von Deep Learning Modellen

Neue Forschung aus dem Bereich der Random Matrix Theory (RMT) liefert einen innovativen Ansatz zur Reduktion großer neuronaler Netze. Der von den Autoren entwickelte Algorithmus, RMT-KD, nutzt die spektralen Eigenschaften der versteckten Repräsentationen, um gezielt die informativsten Richtungen zu identifizieren und zu behalten. Dadurch entfällt die Notwendigkeit von heuristischen Rank‑Selektionsverfahren oder aufwändigen Pruning‑Schritten.

Im Gegensatz zu herkömmlichen Distillationstechniken arbeitet RMT-KD schichtweise und kombiniert die RMT‑basierte Reduktion mit Selbstdistillation. Dieser Ansatz sorgt für Stabilität und minimalen Genauigkeitsverlust, während die Modellgröße schrittweise reduziert wird. Auf den Benchmark‑Datensätzen GLUE, AG News und CIFAR‑10 konnte die Methode eine Reduktion der Parameter um bis zu 80 % erzielen, wobei die Genauigkeit nur um etwa 2 % zurückging.

Die erzielten Effizienzgewinne sind signifikant: Durch die kompaktere Modellarchitektur wird die Inferenzzeit um das 2,8‑fache verkürzt und der Stromverbrauch nahezu halbiert. Diese Ergebnisse demonstrieren, dass RMT-KD ein mathematisch fundierter und zugleich praxisnaher Ansatz zur Netzwerk‑Distillation ist, der die Bereitstellung leistungsfähiger Modelle an Edge‑Geräten erleichtert.