EMoE: Eigenbasis‑gesteuerte Routenführung für Mixture-of-Experts

Mit dem unaufhörlichen Wachstum von Deep‑Learning‑Modellen steigen die Rechenkosten exponentiell. Mixture‑of‑Experts‑Architekturen (MoE) gelten als vielversprechender Weg, die Effizienz zu steigern, doch sie leiden an zwei zentralen Problemen: einer stark ungleichen Auslastung – das „Rich‑Get‑Richer“-Phänomen – und einer Homogenität der Experten, die redundante Repräsentationen lernen.

Aktuelle Ansätze setzen häufig auf einen zusätzlichen Load‑Balancing‑Loss, um die Ungleichheit zu reduzieren. Dieser Ansatz führt jedoch oft zu einer stärkeren Homogenität, weil er eine gleichmäßige Routenverteilung erzwingt und damit die Spezialisierung der Experten einschränkt.

Die neue Eigen‑Mixture‑of‑Experts‑Architektur (EMoE) löst diese Konflikte, indem sie ein Routing‑Verfahren nutzt, das auf einer lernbaren, orthonormalen Eigenbasis basiert. Eingabe‑Tokens werden auf diese gemeinsame Basis projiziert und anhand ihrer Ausrichtung zu den Hauptkomponenten des Merkmalsraums geroutet. Diese geometrische Partitionierung sorgt automatisch für eine ausgewogene Nutzung der Experten und fördert gleichzeitig die Entwicklung vielfältiger, spezialisierter Modelle – ohne einen widersprüchlichen Zusatz‑Loss.

Der zugehörige Code ist öffentlich auf GitHub verfügbar: https://github.com/Belis0811/EMoE. Die Arbeit ist auf arXiv unter der Referenz 2601.12137v1 veröffentlicht.