InfoMamba: Hybrid-Transformer ohne Attention, der Effizienz steigert

In der Welt der Sequenzmodelle bleibt die Herausforderung, feine lokale Details mit weitreichenden Abhängigkeiten zu verbinden, ohne die Rechenkosten zu explodieren. Während klassische Transformers exzellente Token-Mischung bieten, sind sie wegen ihrer quadratischen Komplexität bei langen Sequenzen teuer. Mamba‑basierte Selektive State‑Space‑Modelle (SSMs) dagegen skalieren linear, kämpfen jedoch oft mit hochrangigen, synchronen globalen Interaktionen.

Die neue Arbeit „InfoMamba“ löst dieses Dilemma, indem sie eine Konsistenz‑Grenzen‑Analyse nutzt, um zu zeigen, wann diagonale Kurz‑Gedächtnis‑SSMs kausale Attention nachahmen können. Auf dieser Basis wird ein hybrides Modell vorgestellt, das die token‑basierte Self‑Attention durch eine „Concept‑Bottleneck“-Linearfilter‑Schicht ersetzt. Diese Schicht fungiert als minimaler Bandbreiten‑Global‑Interface und wird mit einem selektiven rekurrenten Strom über eine Information‑Maximizing‑Fusion (IMF) verbunden.

Die IMF‑Schicht trägt dynamisch globale Kontextinformationen in die SSM‑Dynamik ein und fördert die ergänzende Nutzung von Informationen durch ein mutual‑information‑inspiriertes Ziel. In umfangreichen Experimenten – von Klassifikation über dichte Vorhersagen bis hin zu nicht‑visuellen Aufgaben – übertrifft InfoMamba sowohl starke Transformer‑ als auch SSM‑Baselines. Es erzielt dabei einen wettbewerbsfähigen Kompromiss zwischen Genauigkeit und Effizienz und behält gleichzeitig eine nahezu lineare Skalierung bei.