SENSE: EEG‑zu‑Text ohne LLM‑Fine‑Tuning – effizient und datenschutzfreundlich

Mit dem neuen Framework SENSE (SEmantic Neural Sparse Extraction) wird die Herausforderung, Gehirnaktivität in natürlichsprachlichen Text zu übersetzen, ohne auf teure LLM‑Fine‑Tuning‑Pipelines zurückzugreifen, endlich gemeistert. SENSE kombiniert eine leichte, auf dem Gerät laufende Semantik‑Ermittlung mit einer promptbasierten Textgenerierung, sodass die Rohdaten des EEGs lokal bleiben und nur abstrakte Schlüsselwörter an ein vortrainiertes Sprachmodell übergeben werden.

Aktuelle Brain‑Computer‑Interface‑Methoden setzen häufig auf umfangreiche Feinabstimmungen großer Sprachmodelle, was nicht nur hohe Rechenressourcen erfordert, sondern auch das Risiko birgt, sensible neuronale Daten preiszugeben. SENSE löst dieses Problem, indem es die Decodierung in zwei getrennte Phasen aufteilt: Erst wird das EEG in einen diskreten Textraum abgebildet, um ein nicht‑sensitives Bag‑of‑Words zu extrahieren; anschließend wird dieses Bag als Prompt an ein bestehendes LLM übergeben, das den flüssigen Text im Zero‑Shot‑Modus generiert.

Der EEG‑zu‑Keyword‑Modul von SENSE besteht aus lediglich rund 6 Millionen Parametern und läuft vollständig auf dem Endgerät. Dadurch bleiben die rohen Signale lokal, während nur die semantischen Hinweise mit dem Sprachmodell geteilt werden. Diese Architektur reduziert die Speicher- und Rechenlast drastisch und schützt gleichzeitig die Privatsphäre der Nutzer.

In Tests mit einem 128‑Kanäle‑EEG‑Datensatz von sechs Probanden konnte SENSE die generative Qualität von vollständig feinabgestimmten Baselines wie Thought2Text erreichen oder sogar übertreffen – und das bei deutlich geringerer Rechenbelastung. Die Ergebnisse zeigen, dass ein lokales, sparsames Modell in Kombination mit einem leistungsfähigen Sprachgenerator eine leistungsfähige Alternative zu herkömmlichen, datenintensiven Ansätzen darstellt.

Durch die Lokalisierung der neuronalen Dekodierung und die Freigabe nur von abgeleiteten Textcues bietet SENSE eine skalierbare, datenschutzbewusste Architektur, die das nächste Generation von Brain‑Computer‑Interfaces vorantreiben kann. Diese Entwicklung eröffnet neue Möglichkeiten für assistive Kommunikation, Neurotechnologie und die Interaktion zwischen Mensch und Maschine, ohne dabei die Privatsphäre der Nutzer zu gefährden.