Sparse Multi-Modal Transformer reduziert Rechenaufwand bei Alzheimer‑Diagnose

Transformer‑basierte Multi‑Modal‑Systeme bieten enorme Möglichkeiten, sind aber häufig durch die dichte Selbst‑Aufmerksamkeit in ihrer Rechen- und Energieeffizienz eingeschränkt. Diese Begrenzung erschwert die Skalierbarkeit in ressourcenbeschränkten Umgebungen.

Die neue Architektur SMMT (Sparse Multi‑Modal Transformer) löst dieses Problem, indem sie clusterbasierte, spärliche Aufmerksamkeit einführt, die die Komplexität nahezu linear reduziert. Zusätzlich sorgt ein Modality‑weises Masking dafür, dass das Modell robust bleibt, selbst wenn einzelne Modalitäten fehlen.

In einer Fallstudie zur Alzheimer‑Diagnose mit dem ADNI‑Datensatz zeigte SMMT, dass die Vorhersageleistung mit der dichten Baseline vergleichbar bleibt, während Training, Speicherbedarf und Energieverbrauch deutlich gesenkt werden. Die Ergebnisse unterstreichen die Eignung von SMMT als ressourcensparende Bausteine für skalierbare intelligente Systeme.