Obergrenze für Hessian‑Eigenschaften bei Cross‑Entropy in neuronalen Netzen

Neurale Netzwerke sind das Herzstück moderner KI und erzielen in vielen Bereichen Rekordleistungen. Trotz ihres Erfolgs bleibt die Verbindung zwischen der Form des Verlustes und der Generalisierungsfähigkeit noch nicht vollständig geklärt. In der Nähe kritischer Punkte lässt sich die Verlustfunktion durch eine quadratische Taylor‑Entwicklung beschreiben, deren Koeffizienten die Hessian‑Matrix bilden. Das Spektrum dieser Matrix gibt Aufschluss über die „Schärfe“ des Verlustes: Flache Punkte führen tendenziell zu besseren Generalisierungsergebnissen, scharfe Punkte erhöhen die Fehlerquote.

Die Berechnung der Hessian‑Eigenwerte ist jedoch analytisch schwierig, und bisherige Studien stützen sich meist auf numerische Verfahren. Schließbare Analysen beschränken sich häufig auf vereinfachte Architekturen wie lineare Modelle oder ReLU‑Netze. Das neue Ergebnis von Wolkowicz und Styan erweitert diesen Bereich um glatte, nichtlineare Mehrschicht‑Netze.

Durch die Anwendung des Wolkowicz‑Styan‑Grenzwerts wurde eine geschlossene obere Schranke für den größten Eigenwert der Hessian‑Matrix im Zusammenhang mit der Cross‑Entropy‑Verlustfunktion abgeleitet. Diese Schranke ist als Funktion der affinen Transformationsparameter, der Dimensionen der versteckten Schichten und des Orthogonalitätsgrades ausgedrückt. Damit liefert die Arbeit ein praktisches Werkzeug, um die Schärfe von Verlustflächen in komplexen neuronalen Netzwerken analytisch zu bewerten und damit die Beziehung zwischen Architektur, Training und Generalisierung besser zu verstehen.