Neue Methode enthüllt versteckte Modularität in Transformers

Transformers zeigen bislang eine erstaunliche Widerstandsfähigkeit gegen gezielte Eingriffe: Wenn ein als entscheidend identifiziertes Aufmerksamkeitskopf abgelöscht wird, verändert sich das Verhalten des Modells kaum, weil redundante Strukturen die Lücke füllen. Dieses Phänomen, das die Interpretierbarkeit von Modellen erschwert, wird in der neuen Studie durch gezielte architektonische Änderungen überwunden.

Die Forscher kombinieren drei Schlüsselelemente: eine Dual-Stream-Architektur, die Token- und Kontextrepräsentationen trennt; per‑Layer‑Supervision, die jedem Modellschritt einen eigenen Gradientenfluss verleiht; und eine gated‑Attention‑Regulierung, die auf diskrete Aktivierungsmuster abzielt. Durch diese Kombination wird die interne Modularität sichtbar und kontrollierbar.

Ergebnisse zeigen, dass Modelle mit per‑Layer‑Supervision Ablationswirkungen 5 bis 23 mal stärker auslösen als vergleichbare Modelle ohne diese Technik. Dadurch wird die Steuerung gezielter Verhaltensweisen um das Vierfache verbessert: Durch das gezielte Skalieren identifizierter Aufmerksamkeitsköpfe lassen sich Modelloutputs glatt und vorhersehbar verändern. Die Varianz der Ablationswirkungen steigt von einem Standardabweichungswert von 0,63 % auf 6,32 %, was nicht auf Messrauschen zurückzuführen ist, sondern die entdeckte Modularität bestätigt.

Die Methode wurde anhand von drei Komponenten validiert. Ingenieurmäßig gestaltete Features erfassen die Rechen­dynamik des Modells, anstatt nur Wortstrukturen zu spiegeln, und zeigen nahezu keine Korrelation mit Vokabulardaten. Damit demonstriert die Studie, dass architektonische Interventionen die versteckte Modularität von Transformers aufdecken und kontrollierbar machen können.