Turbo-Muon: Preconditionierung beschleunigt orthogonale Optimierung

Orthogonality-basierte Optimierer wie Muon haben in den letzten Monaten beeindruckende Ergebnisse bei groß angelegten Trainingsaufgaben erzielt. Sie setzen jedoch auf einen kostenintensiven Schritt der Gradientenorthogonalisation, der die Effizienz stark einschränkt.

Selbst die effizientesten iterativen Näherungen, etwa Newton‑Schulz, benötigen häufig Dutzende Matrixmultiplikationen, um zu konvergieren. Das führt zu einem hohen Rechenaufwand, der die Gesamtgeschwindigkeit des Trainings verlangsamt.

Die neue Preconditionierungsmethode beschleunigt die Newton‑Schulz‑Iteration erheblich und senkt die Kosten nahezu auf Null. Durch die optimierte Konvergenz kann eine Iteration aus den üblichen fünf entfernt werden, ohne die Approximation zu verschlechtern. In Tests erzielt die Implementierung bis zu 2,8‑fachen Geschwindigkeitszuwachs bei der Newton‑Schulz‑Näherung.

Diese Beschleunigung wirkt sich direkt auf die End-to-End‑Trainingszeit aus: In realistischen Szenarien für Sprach- und Bildaufgaben verbessert sich die Laufzeit um 5 % bis 10 %. Gleichzeitig bleibt die Modellleistung gleich oder sogar besser. Das Verfahren erfordert keine Hyperparameter‑Feinabstimmung und lässt sich als einfacher Drop‑in‑Replacement einsetzen. Der Code ist öffentlich auf GitHub verfügbar.