Grokking: Warum die Verzögerung zwischen Auswendiglernen und Generalisierung lang ist

In einer neuen Studie auf arXiv wird erklärt, warum das Phänomen des Grokking – die plötzliche Generalisierung eines Modells lange nach perfektem Auswendiglernen seiner Trainingsdaten – so lange dauert. Die Autoren präsentieren eine Theorie aus erster Prinzipien, die die Verzögerung zwischen Memorisation und Generalisierung quantitativ beschreibt.

Der Kern der Theorie ist eine norm‑getriebene Phasenübergang in der regulierten Trainingsdynamik. Zunächst konvergiert das Modell zu einer hochnormigen Memorisationslösung. Erst später zieht der Optimierungsprozess das Modell zu einer niedrignormigen, strukturierten Repräsentation, die tatsächlich generalisiert. Die Länge dieser Phase wird durch die Skalierungsformel

Tgrok – Tmem = Θ((1/γeff) · log(∥θmem∥²/∥θpost∥²))

beschrieben, wobei γeff die effektive Kontraktionsrate des Optimierers ist (γeff = η·λ für SGD und γeff ≥ η·λ für AdamW). Der obere Grenzwert folgt aus einem diskreten Lyapunov‑Kontraktionsargument, während der zugehörige untere Grenzwert aus dynamischen Beschränkungen der regulierten ersten‑Ordnung‑Optimierung resultiert.

Die Theorie wurde an 293 Trainingsläufen getestet, die modulare Addition, modulare Multiplikation und sparse Parity Aufgaben umfassten. Dabei bestätigten sich drei zentrale Vorhersagen mit einer R²‑Wertung von über 0,97: eine inverse Skalierung mit dem Gewichtungsabfall, eine inverse Skalierung mit der Lernrate und eine logarithmische Abhängigkeit vom Normverhältnis. Diese Ergebnisse zeigen, dass Grokking genau dann auftritt, wenn der Optimierer die Fähigkeit besitzt, Memorisation von Kontraktion zu entkoppeln – ein Merkmal, das bei SGD und AdamW beobachtet wurde.

Die Arbeit liefert damit die erste quantitative Erklärung für die lange Verzögerung zwischen Auswendiglernen und Generalisierung und legt die Grundlage für zukünftige Optimierungsstrategien, die Grokking gezielt steuern können.