Subkritische Signalweiterleitung Initialisierung in LayerNorm-freien Transformers

Eine neue Untersuchung auf arXiv beleuchtet, wie Signale bei der Initialisierung von Transformers durch die durchschnittliche partielle Jacobian-Norm (APJN) propagieren. Die APJN misst die Gradientenverstärkung über die Schichten hinweg und liefert damit ein präzises Bild der Stabilität von Modellen von Anfang an.

Die Autoren erweitern die APJN-Analyse um bidirektionale Aufmerksamkeit und permutation-symmetrische Token-Konfigurationen. Durch die Ableitung von Rekurrenzgleichungen für Aktivierungsstatistiken und APJNs über die Schichten hinweg können sie die Signalverläufe in komplexeren Transformer-Architekturen exakt beschreiben.

Die Theorie liefert Vorhersagen darüber, wie die Aufmerksamkeit die asymptotische APJN‑Verteilung bei großen Tiefen beeinflusst. Diese Vorhersagen stimmen mit Messungen in tiefen Vision‑Transformern überein und zeigen, dass die kritische Dynamik, die in Residual‑Netzen bekannt ist, auch bei Transformers gilt.

Insbesondere zeigt die Arbeit, dass Transformer ohne LayerNorm eine potenzielle APJN‑Wachstumsrate mit einer Potenzgesetz‑Form aufweisen, während Modelle, die LayerNorm durch elementweise tanh‑ähnliche Nichtlinearitäten ersetzen, ein streckungs-exponentielles Wachstum zeigen – ein Hinweis auf subkritische Dynamik. Diese Erkenntnisse erklären, warum Dynamic‑Tanh‑ und Dynamic‑erf‑Transformers besonders empfindlich gegenüber Initialisierung und Optimierungsparametern sind und warum ein sorgfältiges Tuning für ein stabiles Training erforderlich ist.