Geometrische Metriken für MoE: Von Fisher-Information zur frühzeitigen Fehlererkennung

Ein neues Papier auf arXiv präsentiert ein mathematisch fundiertes Konzept zur Bewertung der Spezialisierung von Mixture-of-Experts (MoE)-Modellen. Die Autoren zeigen, dass bisherige Metriken wie Kosinusähnlichkeit oder Routing-Entropie keine theoretische Basis besitzen und unter Parameterumwandlungen inkonsistente Ergebnisse liefern.

Das Team nutzt die Fisher-Informationsmetrik auf dem Wahrscheinlichkeits-Simplex und setzt Riemannsche Geometrie ein, um die Dynamik der Expert-Routing-Verteilungen präzise zu beschreiben. Sie beweisen, dass herkömmliche Heuristiken nicht invariant gegenüber Parameterumwandlungen sind, dass Spezialisierung einer Geodätik folgt und entwickeln einen Frühwarnindikator für Trainingsfehler.

Zwei neue Kennzahlen – der Fisher Specialization Index (FSI) und der Fisher Heterogeneity Score (FHS) – liefern hochpräzise Ergebnisse. Der FSI korreliert mit 0,91 ± 0,02 zur Endleistung, während der FHS bereits nach 10 % des Trainings mit einer AUC von 0,89 ± 0,03 Trainingsfehler erkennt. Im Vergleich zu herkömmlichen frühzeitigen Abbruchverfahren übertrifft der FHS um 23 % und spart dabei 40‑fach weniger Rechenzeit.

Mit dem FHS>1 können 87 % der Trainings, die einen Fehler aufweisen, erfolgreich wiederhergestellt werden. Die Autoren validieren ihre Ergebnisse in umfangreichen Experimenten mit Sprachmodellen (WikiText‑103, C4), Bild‑MoE (ImageNet) sowie Skalierungsstudien von 8 bis 64 Experten und Modellen mit 125 M bis 2,7 B Parametern.

Das geometrische Framework liefert somit eine robuste, theoretisch fundierte Basis für die Analyse von MoE‑Spezialisierung und die frühzeitige Erkennung von Trainingsfehlern, was die Entwicklung effizienterer und zuverlässigerer Modelle vorantreibt.