Zwei-Stream-Attention: Schlüssel zum Erfolg bei Any-Order Autoregressive Modellen

Any-Order Autoregressive Models (AO-ARMs) eröffnen einen vielversprechenden Weg zu effizienter maskierter Diffusion, indem sie native Key‑Value‑Caching ermöglichen. Bislang jedoch konnten sie nur mit zwei‑Stream‑Attention konkurrenzfähige Ergebnisse erzielen.

Die vorliegende Arbeit zeigt, dass die zweigeteilte Aufmerksamkeit nicht lediglich die Trennung von Token‑Inhalt und Position bewirkt, sondern einen tieferen strukturellen‑semantischen Kompromiss löst. In jedem Schritt muss die verborgene Repräsentation gleichzeitig auf semantisch informative Tokens für die Vorhersage und auf strukturell aktuelle Tokens für die Zusammenfassung achten. Diese beiden Ziele konkurrieren um die begrenzte Aufmerksamkeitskapazität eines einzelnen Streams, können aber in zwei spezialisierten Streams getrennt werden.

Um diesen Kompromiss von der üblichen Position‑Inhalt‑Trennung zu isolieren, stellen die Autoren Decoupled RoPE vor – eine Modifikation der rotatorischen Positions‑Embeddings, die Positionsinformationen liefert, ohne den Inhalt des Zieltokens preiszugeben.

Decoupled RoPE erzielt bei kurzen Sequenzen, wo semantische und strukturelle Nähe zusammenfallen, konkurrenzfähige Leistungen. Mit zunehmender Sequenzlänge verschlechtert sich die Performance, weil die beiden Reihenfolgen auseinanderdriften.

Die Ergebnisse deuten darauf hin, dass der Erfolg von zwei‑Stream‑Attention bei AO-ARMs weniger auf die reine Trennung von Position und Inhalt zurückzuführen ist, sondern vielmehr darauf, den inhärenten strukturellen‑semantischen Tradeoff bei jeder Reihenfolge zu umgehen.