Neue Studie enthüllt geometrische Struktur von Layer-Updates in Sprachmodellen

Eine neue Veröffentlichung auf arXiv beleuchtet die geometrische Struktur von Layer-Updates in tiefen Sprachmodellen. Statt sich auf die Inhalte der Zwischenschichten zu konzentrieren, untersucht die Arbeit, wie sich die Repräsentationen von einer Schicht zur nächsten verändern.

Die Autoren zerlegen die Updates in zwei Komponenten: einen dominanten tokenweisen Teil und einen Residual, der nicht durch eingeschränkte tokenweise Funktionsklassen erfasst wird. In einer Vielzahl von Architekturen – darunter Transformers und State‑Space‑Modelle – zeigt sich, dass das komplette Layer‑Update nahezu perfekt mit dem tokenweisen Bestandteil ausgerichtet ist, während der Residual deutlich schwächere Ausrichtung, größere Winkelabweichung und eine geringere Projektion auf den dominanten Unterraum aufweist.

Der Residual ist damit nicht nur eine kleine Korrektur, sondern ein geometrisch eigenständiger Bestandteil der Transformation. Diese Trennung hat funktionale Konsequenzen: Der Approximation‑Fehler im tokenweisen Modell korreliert stark mit Ausgabeperturbationen, wobei Spearman‑Korrelationen häufig über 0,7 liegen und in größeren Modellen bis zu 0,95 erreichen.

Die Ergebnisse deuten darauf hin, dass die meisten Layer‑Updates wie strukturierte Reparametrierungen entlang einer dominanten Richtung wirken, während die funktionell bedeutende Berechnung im geometrisch getrennten Residual konzentriert ist. Das vorgestellte Framework bietet eine einfache, architekturunabhängige Methode, um die geometrische und funktionale Struktur von Layer‑Updates in modernen Sprachmodellen zu untersuchen.