Self‑Routing: Expertenrouting ohne Parameter – direkt aus Hidden States

In der neuesten Veröffentlichung auf arXiv wird ein völlig neuer Ansatz für Mixture‑of‑Experts‑Modelle vorgestellt: Self‑Routing. Anstatt einen lernbaren Router zu verwenden, nutzt Self‑Routing einen festgelegten Teilraum der Token‑Hidden‑States selbst als Logits für die Expertenzuweisung. Dadurch entfällt die gesamte Router‑Projection, während der Rest des MoE‑Layers unverändert bleibt.

Die Autoren haben Self‑Routing sowohl bei GPT‑2‑Skalen‑Sprachmodellen als auch bei ImageNet‑1K‑Klassifikationsaufgaben mit dem DeiT‑S/16‑Modell getestet. Im Vergleich zu einem Standard‑Router, zufälligen Routing‑Baselines und dichten Nicht‑MoE‑Modellen zeigte Self‑Routing eine konkurrenzfähige Leistung. Besonders hervorzuheben ist die deutlich ausgeglichene Auslastung der Experten: die durchschnittliche normalisierte Routing‑Entropie stieg um etwa 17 % und es war kein zusätzliches Load‑Balancing‑Verlust erforderlich.

Auf ImageNet‑1K erzielte Self‑Routing sogar eine leichte Verbesserung gegenüber dem lernbaren Router‑MoE. Diese Ergebnisse deuten darauf hin, dass effektives Expertenrouting bereits aus der eigenen Hidden‑State‑Repräsentation entstehen kann, ohne dass ein separates, lernbares Routing‑Modul nötig ist.