Grouter beschleunigt MoE-Training durch vorweggenommene Routenoptimierung

Traditionelles Mixture-of-Experts‑Training verknüpft gleichzeitig das Lernen der Expertengewichte mit der Suche nach einer optimalen Routing‑Strategie. Diese enge Kopplung führt häufig zu langsamer Konvergenz und Instabilitäten. Grouter löst dieses Problem, indem es vorab hochwertige Routing‑Strukturen aus vollständig trainierten MoE‑Modellen extrahiert und als feste Router für neue Modelle nutzt. Durch die Trennung der strukturellen Optimierung von den Gewichtsanpassungen beschleunigt Grouter sowohl die Trainingsgeschwindigkeit als auch die Qualität der Konvergenz erheblich.

Um die Flexibilität des Ansatzes zu erhöhen, führt Grouter zusätzlich die Technik des Expert‑Folding ein, die die Anpassung an unterschiedliche Modellkonfigurationen ermöglicht, sowie Expert‑Tuning, um die Arbeitslasten bei variierenden Datendistributionsbedingungen auszugleichen. Die durch vorweggenommene Routing‑Struktur bereitgestellten strukturellen Vorlagen erlauben gezielte Optimierungen, die die Durchsatzrate weiter steigern. Experimentelle Ergebnisse zeigen, dass Grouter die Nutzung von Pre‑Training‑Daten um 4,28‑fach erhöht und den Durchsatz um bis zu 33,5 % beschleunigt, wodurch vorweggenommene Routing‑Methoden als grundlegendes Paradigma für skalierbares MoE‑Training etabliert werden.