Neue kontinuierliche Annäherung an SGD ohne Zurücklegen: Optimierung voran

Stochastische Gradientenverfahren ohne Zurücklegen (SGDo) sind in der Praxis das Herzstück vieler Machine‑Learning‑Modelle. Trotz ihrer weiten Verbreitung bleibt die mathematische Fundierung dieser Algorithmen im Vergleich zu ihren „mit Zurücklegen“ bzw. „Ein‑Durchlauf“-Varianten deutlich hinterher.

In einer neuen Studie wird ein stochastisches, kontinuierliches Zeitmodell für SGDo vorgestellt. Das Modell nutzt eine Young‑Differentialgleichung, die von einem neu definierten „epoched Brownian Motion“ angetrieben wird – einer stochastischen Prozessvariante, die die epochale Struktur von SGDo widerspiegelt.

Die Autoren zeigen, dass dieses kontinuierliche Modell fast sicher konvergiert, wenn die Zielfunktion stark konvex ist und die Lernrate der Form \(u_t = \frac{1}{(1+t)^\beta}\) mit \(\beta \in (0,1)\) gewählt wird. Darüber hinaus wird ein Obergrenze für die asymptotische Konvergenzrate berechnet, die gleichwertig oder sogar besser ist als bisherige Resultate für SGDo.

Diese Erkenntnisse liefern nicht nur ein tieferes theoretisches Verständnis von SGDo, sondern eröffnen auch neue Wege, um die Effizienz und Stabilität von Optimierungsalgorithmen in der Praxis zu verbessern.