Spectrale Grenzdynamik enthüllt Lernmodi – neue Erkenntnisse aus Grokking

In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass die Lernprozesse während des sogenannten Grokking sich auf nur wenige dominante Aktualisierungsrichtungen konzentrieren – die sogenannte „spectrale Edge“. Diese Richtungen unterscheiden Grokking eindeutig von Nicht‑Grokking‑Regimen.

Herkömmliche Interpretationswerkzeuge wie Kopf‑Attribution, Aktivierungs‑Probing oder spärliche Autoencoder sind bei diesen Richtungen wirkungslos, weil ihre Struktur weder im Parameter‑ noch im Feature‑Raum lokalisiert ist. Stattdessen erzeugen sie strukturierte Funktionen über den gesamten Eingabebereich und offenbaren damit niedrigdimensionale funktionale Modi, die bei herkömmlichen Analyseansätzen verborgen bleiben.

Beispielsweise kollabieren bei modularer Addition alle führenden Richtungen zu einem einzigen Fourier‑Modus. Bei Multiplikation tritt ein ähnlicher Kollaps nur im diskreten Logarithmus‑Basisraum auf, was die Konzentration um das 5,9‑fache steigert. Subtraktion führt zu einer kleinen Mehrfachmodusfamilie, während bei der Funktion \(x^2 + y^2\) keine einzelne harmonische Basis ausreicht; hier liefern Kreuzterm‑Kombinationen aus additiven und multiplikativen Merkmalen einen vierfachen Varianzgewinn, was die bekannte Decomposition \((a+b)^2 - 2ab\) bestätigt.

Multitask‑Training verstärkt diese kompositorische Struktur zusätzlich. Der spectrale Edge der \(x^2 + y^2\)-Aufgabe übernimmt die charakteristische Frequenz des Additionskreises und verzeichnet eine Konzentrationssteigerung von 2,3‑fach. Diese Befunde deuten darauf hin, dass das Training tatsächlich niedrigdimensionale funktionale Unterräume entdeckt, deren Struktur stark von der algebraischen Symmetrie der jeweiligen Aufgabe abhängt.

Insgesamt zeigen die Ergebnisse, dass die spectral‑Edge‑Dynamik ein mächtiges Werkzeug ist, um die zugrunde liegenden funktionalen Subräume zu identifizieren, die das Lernen steuern. Die Erkenntnisse legen nahe, dass zukünftige Interpretationsansätze stärker auf die algebraische Struktur der Aufgaben eingehen sollten, um die wahren Lernmechanismen sichtbar zu machen.