Cognitive Companion: Leichtgewichtige Parallelüberwachung für LLM-Agenten

Bei komplexen Mehrschrittaufgaben zeigen große Sprachmodelle (LLM) häufig Denkdegradation, Schleifen und Stuck‑States – bis zu 30 % der Fälle. Traditionelle Gegenmaßnahmen wie harte Schrittgrenzen sind abrupt, während LLM‑basierte Urteils‑Monitoring‑Ansätze einen Aufwand von 10–15 % pro Schritt verursachen.

Die neue „Cognitive Companion“-Architektur bietet eine parallele Überwachung, die in zwei Varianten realisiert wird: eine LLM‑basierte Companion und eine neuartige Probe‑basierte Companion, die keinerlei Rechenaufwand verursacht. Beide Varianten arbeiten gleichzeitig mit dem Agenten, ohne dessen Ablauf zu unterbrechen.

In einer dreibatch‑Studie mit dem Modell Gemma 4 E4B senkte die LLM‑basierte Companion die Wiederholungen bei loop‑anfälligen Aufgaben um 52–62 % bei einem zusätzlichen Overhead von etwa 11 %. Die Probe‑basierte Companion, trainiert auf den versteckten Zuständen der 28. Schicht, erzielte einen durchschnittlichen Effekt von +0,471 und einen AUROC von 0,840 auf einem kleinen, probenmarkierten Datensatz – und das ohne jeglichen Overhead.

Ein zentrales Ergebnis ist die Aufgabenabhängigkeit des Nutzens: Die Companion‑Methoden sind besonders effektiv bei loop‑anfälligen und offenen Aufgaben, während sie bei stärker strukturierten Aufgaben neutral oder sogar nachteilig wirken. In den kleinen Modellen (1 B–1,5 B Parameter) zeigte sich zudem, dass die Companion keine Qualitätsverbesserung erzielten, selbst wenn die Interventionen ausgelöst wurden.

Die Arbeit stellt eine vielversprechende Machbarkeitsstudie dar, die zeigt, dass Sub‑Token‑Monitoring potenziell die Leistung von LLM‑Agenten verbessern kann. Weitere Untersuchungen sind nötig, um die Grenzen und optimalen Einsatzbedingungen dieser Technologie zu bestimmen.