MoE-Expertenspezialisierung: Routing spiegelt Geometrie, nicht Fachwissen wider

In der Welt der großen Sprachmodelle sind Mixture-of-Experts (MoEs) mittlerweile allgegenwärtig. Doch warum scheinen bestimmte Experten immer wieder die gleichen Tokens zu bearbeiten? Ein neues Papier aus dem arXiv klärt, dass die Antwort nicht in der Architektur, sondern in der Geometrie des Repräsentationsraums liegt.

Die Autoren zeigen, dass MoE‑Router lineare Abbildungen sind. Das bedeutet, dass die Ähnlichkeit der versteckten Zustände – also wie ähnlich die internen Repräsentationen eines Tokens sind – sowohl notwendig als auch hinreichend ist, um die Nutzung der Experten zu erklären. Die Spezialisierung der Experten entsteht also als emergentes Phänomen der Datenrepräsentation, nicht weil die Router selbst so gestaltet sind.

Diese Erkenntnis wurde auf Token‑ und Sequenzebene in fünf vortrainierten Modellen bestätigt. Zusätzlich beweist die Studie, dass der Load‑Balancing‑Loss die gemeinsamen Richtungen im versteckten Raum unterdrückt, um die Routing‑Diversität zu erhalten. Das liefert eine theoretische Erklärung dafür, warum bei weniger vielfältigen Daten – etwa bei kleinen Batches – die Spezialisierung zusammenbricht.

Trotz dieser klaren mechanistischen Sichtweise bleiben die Spezialisierungsmuster in vortrainierten MoEs schwer interpretierbar. Die Überschneidung von Experten zwischen verschiedenen Modellen, die dieselbe Frage beantworten, ist kaum höher als zwischen völlig unterschiedlichen Fragen. Prompt‑Level‑Routing sagt nicht zuverlässig das Rollout‑Level‑Routing voraus, und tiefere Schichten zeigen nahezu identische Aktivierungen für semantisch unzusammenhängende Eingaben, besonders in Modellen, die auf logisches Denken trainiert wurden.

Die Studie kommt zu dem Schluss, dass die Effizienz von MoEs zwar gut verstanden ist, die Frage der Experten‑Spezialisierung jedoch mindestens so schwierig ist wie das Verständnis der Geometrie der versteckten Zustände – ein langjähriges offenes Problem in der Forschung.