UNSO: Neue, stabile Newton-Schulz-Optimierung für effiziente Matrixberechnungen

Die Newton-Schulz-Iteration hat sich in den letzten Jahren als Schlüsselverfahren für den Muon-Optimizer und die Arbeit mit dem Stiefel-Mannigfaltigkeit etabliert. Trotz ihrer Popularität leiden die klassischen Varianten häufig unter Ineffizienz und Instabilität, insbesondere wenn sie in großen Matrizenberechnungen eingesetzt werden.

Viele Verbesserungen haben versucht, die Leistung zu steigern, bleiben jedoch im Rahmen des herkömmlichen iterativen Paradigmas. Dadurch entstehen oft wiederholte Matrixprodukte entlang langer Dimensionen, die den Rechenaufwand erheblich erhöhen.

Mit dem neuen Ansatz „Unified Newton-Schulz Orthogonalization“ (UNSO) wird die gesamte Iterationsstruktur in ein einheitliches Framework überführt. Anstatt eine vollständige Polynomexpansion zu nutzen, wird die Bedeutung jeder Matrixpotenz analysiert, unwichtige Terme entfernt und ein optimiertes Polynom mit lernbaren Koeffizienten vorgeschlagen. Diese Koeffizienten werden anschließend trainiert, was zu einer herausragenden Leistung und stabiler Konvergenz führt.

Der komplette Code ist öffentlich zugänglich und kann unter GitHub eingesehen werden.