Produktstabilität: Beweisbare Konvergenz am Rand der Stabilität

In einer wegweisenden Studie haben Forscher gezeigt, dass Gradient Descent – selbst wenn es im sogenannten „Edge of Stability“ (EoS) trainiert wird – zuverlässig zu einem lokalen Minimum konvergiert. Der Schlüssel liegt in einer neuen strukturellen Eigenschaft von Verlustfunktionen, die als Produktstabilität bezeichnet wird.

Produktstabilität beschreibt Verlustfunktionen der Form l(xy), deren Minima bei Produktvariablen stabil bleiben. Für solche Funktionen beweist die Arbeit, dass Gradient Descent konvergiert, obwohl die Schärfe des Verlustes die klassischen Grenzwerte überschreitet. Interessanterweise umfasst dieses Konzept weit verbreitete Ziele wie die binäre Kreuzentropie.

Durch die Analyse von Bifurkationsdiagrammen konnten die Autoren die Trainingsdynamik detailliert beschreiben. Sie erklären die Entstehung stabiler Oszillationen und quantifizieren exakt, wie scharf der Verlust bei Konvergenz wird. Diese Ergebnisse erweitern frühere Theorien erheblich und gelten für eine breite Palette von Verlustfunktionen.

Die Studie liefert damit eine fundierte Erklärung dafür, warum moderne Deep‑Learning‑Modelle häufig im EoS‑Regime stabil trainieren. Sie eröffnet neue Perspektiven für die theoretische Analyse und praktische Optimierung von Lernalgorithmen.