Effiziente Quantisierung von Mixture-of-Experts mit theoretischer Sicherheit

Spurige Mixture-of-Experts (MoE) ermöglichen es, Sprach‑ und Bildmodelle effizient zu skalieren, indem pro Eingabe nur ein kleiner Teil der Experten aktiviert wird. Trotz der reduzierten Rechenlast bleibt die enorme Parameterzahl ein Speicherproblem bei der Inferenz. Post‑Training‑Quantisierung wurde deshalb als Lösung untersucht, doch bei niedriger Bitbreite verliert die uniforme Quantisierung häufig an Genauigkeit.

Mixed‑Precision‑Ansätze haben sich als vielversprechend erwiesen, erfordern jedoch aufwändige Berechnungen zur Bit‑Breiten‑Zuweisung und berücksichtigen nicht die unterschiedliche Sensitivität der einzelnen Experten gegenüber Quantisierung. Die neue Methode nutzt dafür theoretisch fundierte Kriterien: Sie weist jedem Experten eine Bit‑Breite zu, die vor allem auf der Veränderung des L2‑Normwertes des Routers während des Trainings basiert. Experten, deren Router‑Norm sich kaum ändert, erfassen seltene, aber kritische Merkmale und sind besonders empfindlich gegenüber Quantisierung, weshalb sie höhere Präzision benötigen.

Zusätzlich werden Experten mit großer intra‑Neuron‑Varianz ebenfalls höher präzisiert, um quantisierungsbedingtes Rauschen zu minimieren. Durch diese gezielte, expertenbasierte Mixed‑Precision‑Strategie entstehen nur minimale Overheads bei der Bit‑Breiten‑Zuweisung, während die Inferenzkosten deutlich gesenkt werden.

Experimentelle Ergebnisse auf großen MoE‑Modellen wie dem Switch Transformer und Mixtral zeigen, dass die neue Technik die Genauigkeit gegenüber bestehenden Ansätzen verbessert, die Inferenzkosten reduziert und gleichzeitig nur einen vernachlässigbaren Aufwand für die Bit‑Breiten‑Berechnung verursacht.