Transformer-Modelle zeigen überraschende anatomische Heterogenität

Ein neues arXiv‑Paper untersucht die Annahme, dass alle Schichten eines Transformer‑Modells gleich behandelt werden. Das Modell SmolLM2‑135M, bestehend aus 30 Schichten und 135 Mio. Parametern, dient als Testobjekt.

Die Autoren nutzen fünf diagnostische Metriken – Gewichtsvorhersagbarkeit (R²), Ablationsschäden, Wiederherstellungsgeschwindigkeit, Robustheit gegen Gewichtmanipulationen und strukturelle Analyse – um die Schichten zu untersuchen.

Erstens zeigen die Gewichte eine starke mathematische Regelmäßigkeit (R² = 0,91) mit einem universellen oszillierenden Delta‑Muster (Korrelation ≈ –0,50). Dennoch führen vorgeplante Gewichte zu katastrophalem Versagen, weil nichtlineare Fehler akkumulieren.

Zweitens variiert die Schichtbedeutung um sieben Größenordnungen. Die Kernschichten L8–L11 sind entscheidend – ihre Entfernung erhöht die Perplexität um bis zu 63 419 %. Im Gegensatz dazu verbessern das Entfernen von L14 und L17 die Leistung.

Drittens korreliert die Geschwindigkeit, mit der ein Modell nach einer Störung wiederhergestellt wird, mit der Schichtbedeutung, was unterschiedliche Trainingsbedürfnisse nahelegt.

Viertens bleibt nur die Gewichtsskalierung (α = 0,9) die einzige Manipulationsstrategie, die die Modellqualität erhält, während die anderen fünf Ansätze versagen.

Schließlich demonstriert ein Growth‑Transformer‑Training, das das Rechenbudget nach Schichtbedeutung verteilt, eine Kostenreduktion von etwa 54 %. Ein Proof‑of‑Concept‑Experiment zeigt, dass bei gleicher Parameterzahl die Validierungsfehler um das 4,7‑fache sinken und die Trainingszeit um 13 % schneller ist.