Zeroth-Order-Optimierung: Grenzwerte der Stabilität enthüllt

In der Welt der künstlichen Intelligenz kommen Zeroth-Order‑Methoden (ZO) immer häufiger zum Einsatz, wenn Gradienten nicht verfügbar sind oder zu teuer zu berechnen wären. Sie finden Anwendung in Black‑Box‑Lernverfahren und beim ressourcenschonenden Feinabstimmen großer Modelle. Trotz ihrer Popularität sind die Optimierungsdynamiken von ZO‑Algorithmen im Deep Learning bislang wenig verstanden.

Die neue Studie liefert eine klare Antwort: Sie präsentiert eine exakte Schrittgrößenbedingung, die die mittlere quadratische lineare Stabilität einer Familie von ZO‑Methoden, die auf dem klassischen Zwei‑Punkte‑Estimator basieren, exakt beschreibt. Damit wird die Stabilität von ZO‑Algorithmen mathematisch quantifiziert.

Ein entscheidender Befund ist der deutliche Unterschied zu First‑Order‑Methoden (FO). Während die Stabilität von FO‑Algorithmen ausschließlich von der größten Eigenwertgröße der Hesse-Matrix abhängt, ist die mittlere quadratische Stabilität von ZO‑Methoden von dem gesamten Spektrum der Hesse‑Matrix abhängig. Das bedeutet, dass ZO‑Algorithmen ein viel umfassenderes Bild der lokalen Geometrie des Optimierungsraums erfassen.

Da die Berechnung des vollständigen Spektrums in realen neuronalen Netzwerken praktisch unmöglich ist, liefert die Arbeit zudem handhabbare Stabilitätsgrenzen, die nur die größte Eigenwertgröße und die Spur der Hesse‑Matrix benötigen. Diese vereinfachten Bedingungen ermöglichen es, die Stabilität von ZO‑Algorithmen in der Praxis zuverlässig einzuschätzen.

Die experimentellen Ergebnisse zeigen, dass vollständige Batch‑ZO‑Methoden – darunter ZO‑GD, ZO‑GDM und ZO‑Adam – konsequent am Rand der Stabilität operieren. Sie stabilisieren sich nahe der theoretisch vorhergesagten Grenze in einer Vielzahl von Deep‑Learning‑Aufgaben, was die Relevanz der theoretischen Analyse unterstreicht.

Ein weiterer wichtiger Aspekt ist die entdeckte implizite Regularisierung. Bei ZO‑Methoden wirken große Schrittgrößen primär auf die Spur der Hesse‑Matrix, während bei FO‑Methoden die Regulierung auf den höchsten Eigenwert abzielt. Diese Erkenntnis liefert neue Einblicke in die Funktionsweise von ZO‑Algorithmen und eröffnet Wege für gezielte Optimierungsstrategien.