KL-Analyse: Schnell, nur Vorwärts, Sensitivität bei gemischten SSM-Transformern

Die Verbreitung großer Sprachmodelle auf mobilen und IoT-Geräten steht vor einer großen Herausforderung: Rechenleistung und Speicher sind stark begrenzt, sodass Echtzeitverarbeitung und On‑Device‑Intelligenz kaum möglich sind. Durch die Kombination von Structured State Space Models (SSMs) mit transformerbasierten LLMs lassen sich Effizienz und Leistung besser ausbalancieren.

Quantisierung kann die Modellgröße drastisch reduzieren und die Inferenz beschleunigen, wirkt sich jedoch ungleichmäßig auf die einzelnen Komponenten aus. Um diese Auswirkungen gezielt zu steuern, haben die Autoren ein leichtgewichtiges, backpropagation‑freies Sensitivitätsanalyse‑Framework entwickelt. Das Verfahren nutzt ausschließlich Forward‑Pass‑Messwerte, wodurch teure Gradientenermittlungen und erneutes Training entfällt – ein entscheidender Vorteil, wenn in‑Domain‑Daten aus Datenschutz‑ oder Eigentumsgründen nicht verfügbar sind.

Ein zentrales Ergebnis ist die Feststellung, dass die Kullback‑Leibler‑Divergenz (KL) ein viel aussagekräftigeres Maß für die Quantisierungssensitivität bei Sprachmodellen darstellt als herkömmliche Kennzahlen wie mittlere quadratische Fehler (MSE) oder Signal‑zu‑Quantisierungs‑Rauschverhältnis (SQNR). Durch umfangreiche Experimente an reinen SSM‑ und hybriden Architekturen konnten die Autoren zeigen, dass KL‑basierte Ranglisten die tatsächlichen Leistungsabfälle exakt vorhersagen und andere Metriken übertreffen.

Das vorgestellte Verfahren ermöglicht es, hochentwickelte hybride Modelle zuverlässig auf ressourcenbeschränkten Edge‑Geräten einzusetzen, ohne dass die Genauigkeit signifikant leidet. Damit wird ein wichtiger Schritt in Richtung praktischer, daten‑ und ressourcenfreundlicher KI auf dem Rand des Netzwerks erreicht.