Baumstrukturierte sparsante Feed‑Forward‑Schichten: Skalierbare Transformer

In modernen Transformer‑Modellen verbraucht das klassische MLP‑Block‑Segment einen Großteil der Rechenleistung, besonders bei langen Kontextlängen. Um diesen Engpass zu überwinden, haben Forscher erstmals sparsante, baumstrukturierte Feed‑Forward‑Schichten als nahtlose Ersatzoptionen für die dichten MLP‑Blöcke eingeführt. Durch harte, hierarchische Routenführung wird die bedingte Berechnung ermöglicht – ohne dass ein separates Router‑Netzwerk nötig ist.

Die neue Architektur wurde erfolgreich in autoregressiven Sprachmodellen sowie in Frage‑Antwort‑Systemen eingesetzt, inklusive Zero‑ und Few‑Shot‑Szenarien. Trotz der Aktivierung von weniger als 5 % der Neuronen pro Token erreichen die Modelle die Leistung der dichten Baselines, wenn sie unter kontrollierten Trainings‑ und Feinabstimmungsprotokollen trainiert werden. Das Ergebnis zeigt, dass sparsante Baumschichten nicht nur effizient, sondern auch skalierbar sind – sogar bei Modellen mit über einer Milliarde Parametern.

Eine detaillierte Analyse der Trainingsdynamik hat einen selbstorganisierenden „Auto‑Pruning“-Effekt aufgedeckt: Die Kombination aus harten Routen und asymmetrischen Nichtlinearitäten führt dazu, dass ungenutzte Pfade im Laufe der Zeit deaktiviert werden. Dadurch wandelt sich die dynamische Routenführung allmählich in statische Struktursparsität um. Durch gezielte architektonische Anpassungen lässt sich dieses Verhalten steuern, sodass balancierte Bäume ohne zusätzliche Verlustfunktionen entstehen.

Zusammenfassend demonstriert die Arbeit, dass baumstrukturierte Feed‑Forward‑Schichten ein skalierbares und kontrollierbares Mittel zur Sparsifizierung großer Transformer‑Modelle darstellen. Diese Technik eröffnet neue Wege, die Rechenkosten zu senken, ohne die Leistungsfähigkeit zu beeinträchtigen.