CLaRE: Schnellere, Speicherfreundlichere Analyse von Ripple‑Effekten in LLMs

Die statischen Wissensrepräsentationen großer Sprachmodelle (LLMs) veralten oder werden im Laufe der Zeit schlicht falsch. Model‑Editing‑Techniken, die Faktenbeziehungen gezielt anpassen, bringen zwar eine Lösung in Aussicht, doch häufig entstehen unerwartete Ripple‑Effekte, die sich weit über die sichtbaren Ausgaben hinaus in den versteckten Raum ausbreiten.

Mit CLaRE – einer leichtgewichtigen, auf Repräsentationsebene basierenden Methode – wird nun genau dort erfasst, wo diese unerwünschten Effekte auftreten können. Im Gegensatz zu bisherigen, gradientbasierten Ansätzen nutzt CLaRE ausschließlich Vorwärtsaktivierungen aus einer einzelnen Zwischenschicht, wodurch auf teure Rückwärtsdurchläufe verzichtet wird.

Um die Methode systematisch zu prüfen, haben die Autoren einen Korpus von 11 427 Fakten aus drei bestehenden Datensätzen zusammengestellt und analysiert. Für mehrere Modelle wurden damit großflächige Entanglement‑Graphen erzeugt, die zeigen, wie lokale Änderungen durch den Repräsentationsraum wandern.

Diese Graphen eröffnen neue Möglichkeiten: Sie ermöglichen stärkere Preservation‑Sets für Modell‑Editierungen, bieten nachvollziehbare Audit‑Trails, unterstützen effizientes Red‑Team‑Testing und ermöglichen skalierbare Nachbearbeitungs‑Evaluierungen.

Im Vergleich zu etablierten Baselines erzielt CLaRE eine durchschnittliche Verbesserung von 62,2 % in der Spearman‑Korrelation zu Ripple‑Effekten, ist 2,74‑mal schneller und verbraucht 2,85‑mal weniger Spitzen‑GPU‑Speicher. Zudem benötigt es nur einen Bruchteil des Speicherplatzes, den die Baselines für die Berechnung und Speicherung von Faktenrepräsentationen benötigen.

Die Entanglement‑Graphen sowie der Korpus stehen unter https://anonymous.4open.science/r/CLaRE-488E zur Verfügung.