Moonshot AI: Attention Residuals für skalierbare Transformer

Moonshot AI hat ein neues Konzept namens Attention Residuals vorgestellt, das die herkömmliche Residual‑Mischung in Transformer‑Modellen ersetzt. Durch die Kombination von Tiefen‑Aufmerksamkeit mit den Residualverbindungen soll die Architektur nicht nur stabiler, sondern auch besser skalierbar werden.

Traditionell fügen PreNorm‑Architekturen die Ausgabe jeder Schicht wieder in den laufenden Hidden‑State ein. Diese feste Residual‑Mischung sorgt zwar für stabile Optimierung, kann aber bei sehr tiefen Modellen zu strukturellen Problemen führen, weil frühere Schichten immer noch stark in die aktuelle Ausgabe eingreifen. Moonshot AI argumentiert, dass diese feste Mischung die Lernfähigkeit einschränkt und die Modellkomplexität unnötig erhöht.

Mit Attention Residuals wird die Residual‑Mischung dynamisch über eine depth‑wise‑Attention‑Schicht gesteuert. Dadurch kann jede Schicht entscheiden, wie viel Einfluss sie aus den vorherigen Schichten ziehen möchte. Das Ergebnis ist ein saubererer Signalfluss, weniger Interferenz zwischen den Ebenen und eine deutlich verbesserte Skalierbarkeit, sodass noch tiefere Transformer ohne Verlust der Trainingsstabilität realisiert werden können.

Die Entwickler betonen, dass die neue Technik keine zusätzlichen Parameter einführt, sondern lediglich die Art der Residualverbindung neu gestaltet. Erste Experimente zeigen, dass Modelle mit Attention Residuals schneller konvergieren und bei anspruchsvollen Aufgaben bessere Ergebnisse liefern. Damit eröffnet Moonshot AI einen vielversprechenden Weg, die Grenzen aktueller Transformer‑Architekturen zu verschieben.