Tiefe neuronale Regression kollabiert: Neue Erkenntnisse zu sparsamen Strukturen

Neurale Kollaps‑Phänomene, die bislang vor allem bei Klassifikatoren beobachtet wurden, haben nun auch bei Regressionsmodellen ihre Wirkung entfaltet. In einer kürzlich veröffentlichten Studie wird gezeigt, dass das sogenannte Neural Regression Collapse (NRC) nicht nur die letzte Schicht, sondern auch tiefere Ebenen von tiefen neuronalen Netzen beeinflusst.

Die Analyse offenbart, dass in den kollabierten Schichten die Aktivierungen in einem Unterraum liegen, der exakt der Dimensionalität der Zielvariablen entspricht. Gleichzeitig stimmen die Kovarianzmatrizen der Features mit denen der Zielwerte überein, und die Eingangs­subräume der Gewichte der jeweiligen Schicht sind mit dem Feature‑Unterraum ausgerichtet. Diese strukturelle Ordnung führt dazu, dass der lineare Vorhersagefehler der Features nahezu dem Gesamtfehler des Modells entspricht.

Ein weiteres Highlight der Arbeit ist die Feststellung, dass Modelle, die Deep NRC zeigen, die intrinsische Dimension der niedrigrangigen Zielwerte automatisch erlernen. Darüber hinaus wird die Rolle von Gewichtsdämpfung (Weight Decay) als entscheidender Faktor für die Entstehung von Deep NRC hervorgehoben. Diese Erkenntnisse liefern ein umfassenderes Bild davon, welche einfachen Strukturen tiefe Netzwerke im Regressionskontext tatsächlich lernen.

Die Ergebnisse markieren einen wichtigen Schritt in der theoretischen Analyse von tiefen Lernmodellen und eröffnen neue Perspektiven für die Optimierung und Interpretation von Regressionsnetzwerken in der Praxis.