Neues Ergebnis: Nicht‑vakuöse Generalisierung für überparametrisierte Netze

In der Welt der künstlichen Intelligenz zeigen überparametrisierte neuronale Netze ein faszinierendes Phänomen: Sie können trotz einer Parameterzahl, die die Trainingsdaten weit übersteigt, erstaunlich gute Vorhersagen liefern. Dieses Verhalten wird als „benignes Overfitting“ bezeichnet.

Die neue Studie liefert einen wichtigen Schritt zur Erklärung dieses Phänomens. Sie verbindet die Generalisierungsleistung eng mit dem Abstand der Gewichte von ihrer Initialisierung. Dabei wird deutlich, dass dieser Abstand häufig deutlich kleiner ist als die Gesamtnorm der Gewichte.

Frühere theoretische Analysen stützten sich auf die Spektralnorm der Initialisierungsmatrix, die bei großen Netzbreiten mit der Quadratwurzel der Breite skaliert und damit bei überparametrisierten Modellen wenig aussagekräftig ist. Das aktuelle Papier präsentiert die ersten vollständig initialisierungsabhängigen Komplexitätsgrenzen für flache neuronale Netze mit beliebigen Lipschitz‑Aktivierungsfunktionen. Diese Grenzen zeigen eine logarithmische Abhängigkeit von der Breite.

Die Autoren nutzen dafür eine neuartige „Peeling“-Technik, um die Herausforderung der initialisierungsabhängigen Beschränkung zu meistern. Die resultierenden Bounds beruhen auf dem Pfad‑Norm des Abstands von der Initialisierung.

Zusätzlich liefern sie einen unteren Schrankenwert, der bis auf einen konstanten Faktor mit den oberen Grenzen übereinstimmt. Durch umfangreiche Experimente wird gezeigt, dass die neuen Generalisierungsanalysen tatsächlich nicht‑vakuöse Grenzen für überparametrisierte Netzwerke liefern.