Sven: Singular Value Descent als effizienter Natural Gradient Algorithmus

Ein neuer Optimierungsalgorithmus namens Sven (Singular Value dEsceNt) wurde vorgestellt, der neuronale Netzwerke schneller und genauer trainieren kann, indem er die Verlustfunktion in einzelne Datenpunkte zerlegt, statt sie vorab zu einem einzigen Skalar zusammenzufassen.

Sven behandelt jeden Residual eines Datenpunkts als eigene Bedingung, die gleichzeitig erfüllt werden soll. Dazu nutzt er die Moore‑Penrose‑Pseudoinverse der Verlust‑Jacobi‑Matrix, um die Minimum‑Norm‑Aktualisierung der Parameter zu bestimmen. In der Praxis wird diese Pseudoinverse durch eine abgeschnittene Singulärwertzerlegung approximiert, wobei nur die k wichtigsten Richtungen beibehalten werden. Dadurch entsteht ein Rechenaufwand, der nur um einen Faktor k im Vergleich zu stochastischem Gradientenabstieg höher ist – ein deutlich geringerer Aufwand als bei klassischen Natural‑Gradient‑Methoden, die quadratisch in der Parameterzahl skalieren.

Auf Regressionsaufgaben übertrifft Sven herkömmliche First‑Order‑Methoden wie Adam deutlich, erreicht schnelleres Konvergenzverhalten und niedrigere Endverluste. Gleichzeitig bleibt er mit LBFGS konkurrenzfähig, jedoch zu einem Bruchteil der Laufzeit. Sven lässt sich als Generalisierung des Natural‑Gradient‑Descent für überparametrisierte Modelle verstehen und reduziert sich im unterparametrisierten Fall auf den klassischen Natural Gradient.

Die größte Herausforderung für die Skalierbarkeit liegt im Speicherbedarf. Die Autoren schlagen mehrere Strategien vor, um diesen Overhead zu reduzieren, und betonen, dass Sven besonders in wissenschaftlichen Berechnungen mit maßgeschneiderten Verlustfunktionen von großem Nutzen sein dürfte.