Uniformes Spektralwachstum bei Muon-LoRA: Gleichmäßiges Wachstum und globale Konvergenz

In der jüngsten Veröffentlichung auf arXiv wird ein faszinierendes Phänomen bei der Feinabstimmung großer Sprachmodelle (LLMs) mit der Low‑Rank‑Adaptation (LoRA) beschrieben. Die Autoren zeigen, dass bei der Anwendung des Optimierers Muon – einer Variante des Spektral‑Gradient‑Descent (SpecGD) – die Singulärwerte des LoRA‑Produkts nahezu gleichmäßig über den gesamten Spektralbereich wachsen, obwohl die Orthogonalisation auf die beiden Faktoren separat erfolgt.

Um dieses Verhalten zu erklären, führen die Forscher die Analyse des Spektral‑Gradient‑Flows (SpecGF) ein, dem kontinuierlichen Äquivalent zu SpecGD. Sie beweisen, dass in einem vereinfachten LoRA‑Matrix‑Faktorisierungsmodell alle Singulärwerte mit nahezu identischen Raten wachsen – ein „Equal‑Rate“-Verhalten. Dadurch erreichen kleinere Singulärwerte ihre Zielwerte schneller als größere, was im Gegensatz zum üblichen „größter‑zuerst“-Verfahren bei herkömmlichem Gradient‑Flow steht.

Darüber hinaus zeigen die Autoren, dass SpecGF unter der Bedingung, dass die Normen der Faktoren beschränkt bleiben, von nahezu allen Initialisierungen aus globalen Minima konvergiert. Mit zusätzlicher ℓ₂‑Regularisierung wird sogar die globale Konvergenz garantiert. Abschließend bestätigen experimentelle Ergebnisse die theoretischen Vorhersagen in der gleichen LoRA‑Umgebung.