ReLU‑MLPs zeigen vor Grokking latente algorithmische Strukturen

Eine neue Untersuchung auf arXiv (2603.23784v1) beleuchtet das Phänomen „Grokking“ – die plötzliche Steigerung der Validierungsgenauigkeit bei Modulare Addition, die lange nach dem Auswendiglernen der Trainingsdaten einsetzt. Die Autoren zeigen, dass ReLU‑MLPs in ihrem Experiment nicht sinusförmige, sondern nahezu binäre Rechteckschwingungen in den Eingabewichten erlernen. Zwischenwertige Gewichte tauchen ausschließlich in der Nähe von Vorzeichenwechseln auf.

Die Ausgabewichte weisen dagegen dominante Fourier‑Phasen auf, die die Relation φ_out = φ_a + φ_b erfüllen. Diese Eigenschaft bleibt auch dann bestehen, wenn das Modell mit verrauschten Daten trainiert wird und das Grokking nicht erreicht.

Durch eine Fourier‑Analyse (DFT) werden Frequenz und Phase jedes Neurons extrahiert. Anschließend wird ein idealisiertes Modell aufgebaut, bei dem die Eingabewichte perfekte binäre Rechteckschwingungen und die Ausgabewichte Cosinus‑Wellen sind – beide parametrisiert durch die gewonnenen Frequenzen, Phasen und Amplituden. Dieses Modell erzielt 95,5 % Genauigkeit, obwohl die Ausgangsgewichte aus einem Modell stammen, das bei verrauschten Daten lediglich 0,23 % erreichte.

Die Ergebnisse deuten darauf hin, dass Grokking nicht ein neues Algorithmus‑Konzept entdeckt, sondern ein bereits während des Memorierens stark codiertes Verfahren verfeinert. Durch die Binarisierung der Eingabewichte und die Ausrichtung der Ausgabewerte wird das Modell schrittweise in die Lage versetzt, die Aufgabe zu generalisieren.