Mamba: Bildrekonstruktion zeigt Grenzen bei längeren Sequenzen

Das neuartige Modell Mamba hat sich als vielseitiges Sequenzmodell etabliert, weil es mit geringer Rechenkomplexität arbeitet und gleichzeitig mit Transformers konkurrieren kann. Trotz dieser Stärken zeigt Mamba bei Inferenzsequenzen, die länger sind als die, die während des Trainings verwendet wurden, deutliche Leistungsabfälle.

Um dieses Phänomen zu untersuchen, haben Forscher eine kontrollierte Bildaufgabe entwickelt: Mamba rekonstruiert Bilder aus Sequenzen von Bild‑Patches. Durch die Analyse der Rekonstruktionen zu verschiedenen Verarbeitungsstufen konnten sie feststellen, dass Mamba sein Verhalten an die im Training vorkommenden Sequenzlängen anpasst. Diese Anpassung führt zu Strategien, die nicht über den Trainingsbereich hinaus generalisieren.

Zur Verbesserung der Längen‑Generalisation wurde eine längen‑adaptive Variante von Mamba eingeführt. Diese neue Version liefert konsistentere Ergebnisse über sämtliche Trainingssequenzlängen hinweg. Die Ergebnisse liefern einen intuitiven Einblick in die Längen‑Generalisation von Mamba und legen nahe, wie die Architektur weiter optimiert werden kann.