Mamba2 trifft GSP: Adaptive Filterbank reduziert Parameter um 41 %

In der Welt der Sprachmodelle haben State‑Space‑Modelle (SSMs) bereits gezeigt, dass sie eine effiziente Alternative zu klassischen Attention‑Mechanismen darstellen. Das neueste Modell Mamba2 nutzt dabei selektive Eingangs‑Gateing und eine mehrköpfige Struktur, die parallele Berechnungen ermöglicht und hervorragende Ergebnisse auf Standard‑Benchmarks liefert.

Allerdings arbeitet die mehrköpfige Rekurrenz von Mamba2 unabhängig voneinander, ohne dass die einzelnen Köpfe strukturiert genutzt oder analysiert werden. Um dieses Problem zu lösen, wurde HADES – Hierarchical ADaptive filter bank for Efficient SSMs – entwickelt. Das Konzept ist von der Graph Signal Processing (GSP) inspiriert und interpretiert Mamba2 als adaptiven Filterbank auf einem Liniengraphen.

HADES führt zwei Filtertypen ein: gemeinsame Filter für ein globales Low‑Pass‑Verhalten und Experten‑Filter für lokales High‑Pass‑Verhalten. Durch eine gezielte Bias‑Struktur auf dem Parameter Δ werden diese Filter effizient gesteuert. Trotz der reduzierten Komplexität erreicht HADES vergleichbare Leistungen wie Mamba2 in Bereichen wie Sprachmodellierung, Commonsense‑Reasoning und Langtext‑Abruf, wobei es lediglich 58,9 % der ursprünglichen Parameter nutzt.

Damit schafft HADES eine Brücke zwischen GSP und neuronaler Sequenzmodellierung, bietet eine effiziente, hierarchische und interpretierbare Filterung innerhalb von State‑Space‑Modellen und eröffnet neue Wege für ressourcenschonende KI‑Anwendungen.