Neues Hybridmodell: Spiking Neural Network steuert LLM-Aktionen autonom

Ein neues Forschungsprojekt namens EMBER präsentiert eine bahnbrechende hybride kognitive Architektur, die die Beziehung zwischen großen Sprachmodellen (LLMs) und Speicher neu definiert. Anstelle eines LLMs, das lediglich mit Retrieval-Tools ergänzt wird, fungiert das LLM als austauschbarer Denkmechanismus innerhalb eines dauerhaften, biologisch inspirierten assoziativen Substrats.

Im Mittelpunkt steht ein 220.000-Neuronen-Spiking-Neuronales Netzwerk (SNN) mit spike‑timing‑dependent plasticity (STDP). Das Netzwerk ist vierstufig hierarchisch organisiert – sensorisch, konzeptuell, kategorisch und meta‑musterbasiert – und verfügt über ein ausgewogenes E/I‑Verhältnis sowie belohnungsmoduliertes Lernen.

Text‑Embeddings werden über einen neu entwickelten, z‑Score‑standardisierten Top‑k‑Populationscode in das SNN eingebettet. Dieser Code ist dimensionsunabhängig und bewahrt 82,2 % der Diskriminierungsfähigkeit über verschiedene Embedding‑Dimensionen hinweg.

Ein besonders spannender Aspekt ist, dass STDP‑basierte laterale Propagation während stiller Phasen das SNN in die Lage versetzt, LLM‑Aktionen zu initiieren und zu formen – ohne externe Aufforderungen oder Skripte. Das SNN entscheidet, wann gehandelt werden soll und welche Assoziationen hervorgehoben werden, während das LLM die Art der Aktion auswählt und den Inhalt generiert.

In einem praktischen Beispiel startete das System nach einem achtstündigen Leerlauf eigenständig den Kontakt zu einem Nutzer, nachdem gelernte Personen‑Themen‑Assoziationen lateral ausgelöst wurden. Von einem sauberen Start mit null gelernten Gewichten aus erfolgte die erste SNN‑getriggerte Aktion bereits nach sieben Konversationsaustauschen (14 Nachrichten).