LLMs zeigen menschliche Gedächtnisinterferenzen – neue Erkenntnisse

Eine neue Studie von Forschern auf arXiv beleuchtet, warum große Sprachmodelle trotz ihrer enormen Größe – etwa 100 Milliarden Neuronen – immer noch Schwierigkeiten haben, Informationen im Kurzzeitgedächtnis zu behalten. Die Autoren zeigen, dass LLMs typische menschliche Interferenzen reproduzieren: Je mehr Informationen gleichzeitig im Gedächtnis gehalten werden, desto schlechter wird die Leistung, und die zuletzt gesehenen Stimuli haben einen stärkeren Einfluss.

Interessanterweise nutzen die Modelle nicht einfach eine direkte Kopie des relevanten Gedächtnisobjekts aus dem Kontext. Stattdessen werden mehrere Erinnerungsstücke in miteinander verflochtenen Repräsentationen gespeichert. Der Erfolg beim Abrufen hängt dann von einer aktiven Interferenzkontrolle ab – dem gezielten Unterdrücken irrelevanter Inhalte, um das gewünschte Ziel klar isolieren zu können.

Ein gezieltes Eingreifen, das die Stimulusinformation im Gedächtnis unterdrückt, führt zu einer deutlichen Leistungssteigerung. Darüber hinaus korreliert eine stärkere Arbeitsgedächtniskapazität mit einer besseren Leistung auf Standard-Benchmarks, was die enge Verbindung zwischen Gedächtnis und allgemeiner Intelligenz – sowohl bei Menschen als auch bei Maschinen – unterstreicht.