LLMs kämpfen mit Wissensupdates: Retrieval‑Bias steigt mit jeder Revision

In einer neuen Studie von Forschern aus dem Bereich der künstlichen Intelligenz wird ein bislang wenig beleuchtetes Problem bei großen Sprachmodellen (LLMs) aufgedeckt: Wenn dieselbe Tatsache im Kontext mehrmals aktualisiert wird, entsteht ein wachsender Retrieval‑Bias. Das bedeutet, dass das Modell bei der Abfrage immer häufiger die älteren Versionen der Information zurückruft, obwohl neuere, korrektere Daten vorhanden sind.

Um dieses Phänomen zu untersuchen, haben die Autoren ein neues Evaluationsframework namens Dynamic Knowledge Instance (DKI) entwickelt. Dabei wird jede Wissensänderung als eine Sequenz von Aktualisierungen betrachtet, die an einen gemeinsamen Hinweis (Cue) gekoppelt ist. Durch gezielte Abfragen der ersten und der letzten Version der Information konnten die Forscher die Genauigkeit der Modelle systematisch messen.

Die Ergebnisse zeigen, dass die Genauigkeit bei der ersten Version der Information weitgehend stabil bleibt, während die Genauigkeit bei der neuesten Version mit zunehmender Anzahl an Updates deutlich abnimmt. Zusätzlich deuten Analysen von Aufmerksamkeitsmustern, Zustandsähnlichkeiten und Logit-Ausgaben darauf hin, dass die Signale im Modell flacher und weniger diskriminierend werden, was die Erkennung der aktuellsten Version erschwert.

Selbst wenn kognitiv inspirierte Heuristiken zur Korrektur des Bias eingesetzt werden, erzielen sie nur geringe Verbesserungen und beseitigen das Problem nicht vollständig. Die Studie unterstreicht damit, dass das Nachverfolgen von Wissensupdates in langen Kontexten nach wie vor eine große Herausforderung für LLMs darstellt.