Die $qs$-Ungleichung: Doppelte Nachteile von MoE bei Inferenz

Mixture-of-Experts (MoE) Modelle versprechen hohe Qualität bei geringer Trainingskomplexität, doch die Effizienz verschwindet häufig, sobald sie in der Praxis eingesetzt werden. Forscher haben ein strukturelles Doppeldeckel-Problem identifiziert, das MoE-Architekturen während der Decodierung benachteiligt.

Erstens fragmentiert die Expert-Routing-Logik die Mikro-Batches und verringert die Wiederverwendung von Gewichten. Zweitens führen die riesigen, im Speicher verbleibenden Expert-Pools dazu, dass der High‑Bandwidth‑Memory (HBM) für den KV‑Cache stark eingeschränkt wird. Diese „Reuse‑Fragmentation“ zwingt die Feed‑Forward‑Netzwerke (FFNs) in einen Bandbreiten‑Bound‑Modus, besonders bei langen Kontextlängen.

Um dieses Phänomen zu quantifizieren, wurde die $qs$‑Ungleichung entwickelt. Sie kombiniert die Sparsität $s$ – den Anteil der pro Token aktivierten Parameter – mit dem Qualitäts‑Äquivalenz‑Faktor $q$, der angibt, um welchen Faktor ein dichtes Modell skaliert werden muss, um die gleiche Leistung wie ein MoE zu erreichen. Die Ungleichung liefert ein einfaches, vorhersehbares Kriterium, wann ein MoE strukturell schlechter abschneidet als ein gleichwertiges denses Modell.

Die Bewertung erstreckte sich über aktuelle Spitzenmodelle wie DeepSeek‑V3, Qwen3‑235B, Grok‑1 und Switch‑C. Bei DeepSeek‑V3 mit 128 k Kontextlänge zeigte sich ein Durchsatzvorteil von 4,5‑fach gegenüber einem qualitätsgleichen dichten Baseline. Bei noch größeren Architekturen wie Switch‑C wird die Inferenz auf üblichen Clustergrößen sogar unpraktikabel, während ein denses Modell weiterhin betrieben werden kann.

Diese Erkenntnisse verdeutlichen, dass die FLOP‑Effizienz im Training kein vollständiger Indikator für die Inferenzleistung bei langen Kontexten ist. MoE sollte daher eher als Optimierung für das Training betrachtet werden, während für den produktiven Einsatz auf lange Sequenzen auf dichte Modelle oder gezielte Distillation zurückgegriffen werden sollte.