Feature‑Norm‑Schwelle erklärt Neural Collapse in neuronalen Netzen

Eine neue Studie auf arXiv hat ein einfaches, aber kraftvolles Prinzip für den Beginn des Neural Collapse (NC) aufgedeckt: Sobald der durchschnittliche Feature‑Normwert eines Modells einen kritischen Schwellenwert fn* erreicht, tritt NC ein. Dieser Schwellenwert ist erstaunlich robust gegenüber allen Trainingsbedingungen und konzentriert sich innerhalb jedes (Modell, Datensatz)-Paares mit einer Streuung von weniger als 8 %.

Die Autoren zeigen, dass das Überschreiten von fn* – also wenn der Feature‑Normwert unter diesen kritischen Wert fällt – immer vor dem eigentlichen Collapse eintritt. Damit entsteht ein praktischer Vorhersageindikator, der im Durchschnitt 62 Epochen vor dem NC-Eintritt signalisiert, mit einer mittleren Abweichung von 24 Epochen. Ein gezieltes Interventions‑Experiment bestätigt, dass fn* ein stabiler Attraktor des Gradientenflusses ist: Störungen im Feature‑Skalierungsbereich werden während des Trainings selbst korrigiert und führen zum selben Endwert, unabhängig von der Richtung der Störung.

Durch die systematische Untersuchung verschiedener Architekturen und Datensätze wurde ein starkes Ergebnis erzielt: Für ResNet‑20 auf MNIST liegt fn* bei 5,867 – ein Architektur‑Effekt von +458 %, während er bei CIFAR‑10 nur +68 % beträgt. Diese Werte zeigen, dass die Schwelle nicht additiv aus Architektur‑ und Datensatz‑Einflüssen zusammengesetzt werden kann. Darüber hinaus identifizieren die Forscher vier strukturelle Regularitäten: (1) Die Tiefe hat einen nicht‑monotonen Einfluss auf die Geschwindigkeit des Collapse, (2) die Aktivierungsfunktion bestimmt sowohl die Collapse‑Geschwindigkeit als auch fn*, (3) die Gewichtsdämpfung definiert ein dreiregionales Phasendiagramm – zu wenig verlangsamt, ein optimaler Bereich ist am schnellsten, zu viel hemmt, und (4) weitere noch zu untersuchende Faktoren.