FlowAdam: Geometriebewusster Soft-Momentum-Ansatz verbessert Optimierung

FlowAdam kombiniert die bewährte Adam-Methode mit einer kontinuierlichen Gradient‑Flow‑Integration über eine gewöhnliche Differentialgleichung (ODE). Durch die Nutzung von exponentiell gewichteten Mittelwerten (EMA) erkennt der Optimierer, wann das Optimierungsfeld schwierig wird, und schaltet dann auf eine abgeschnittene ODE‑Integration um.

Der zentrale Beitrag von FlowAdam ist die „Soft Momentum Injection“. Dabei wird die Geschwindigkeit der ODE sanft mit dem Momentum von Adam gemischt, sodass der Übergang zwischen den Modi flüssig bleibt. Diese Technik verhindert das Trainingskollaps, das bei einfachen Hybridansätzen häufig auftritt, und sorgt für eine stabile Lernkurve.

In einer Reihe von Benchmarks mit stark gekoppelten Parametern zeigt die ODE‑Integration eine implizite Regularisierung. Die Fehlerquote bei der Rekonstruktion von niedrigdimensionalen Matrizen und Tensoren sinkt um 10 – 22 %, bei der realen Kollaborativen‑Filtering‑Aufgabe Jester um 6 %. FlowAdam übertrifft dabei die optimierten Versionen von Lion und AdaBelief und erreicht die gleiche Leistung wie Adam bei gut konditionierten Aufgaben wie CIFAR‑10. Auf MovieLens‑100K bestätigt sich, dass die Vorteile speziell aus den gekoppelten Parameterinteraktionen resultieren.

Eine Ablationsstudie zeigt, dass die Soft‑Injection unverzichtbar ist: Ein harter Ersatz der Momentum‑Komponente reduziert die Genauigkeit von 100 % auf 82,5 %. Damit unterstreicht FlowAdam die Bedeutung eines sanften Übergangs zwischen ODE‑ und Adam‑Modi für optimale Lernfortschritte.