Neues Maß für Echtzeit-Überwachung von LLM-Interaktionen: Bi-Predictability

In hochriskanten, autonomen Arbeitsabläufen werden große Sprachmodelle (LLMs) immer häufiger eingesetzt. Dort ist eine kontinuierliche, mehrtägige Kohärenz der Interaktion entscheidend, damit Entscheidungen zuverlässig bleiben.

Traditionelle Bewertungsmethoden – etwa nachträgliche semantische Gutachten, einseitige Token‑Vertrauenswerte oder aufwändige Mehrfachabfragen – konzentrieren sich ausschließlich auf die Ausgabedistribution des Modells. Sie können nicht in Echtzeit erkennen, ob die zugrunde liegende Interaktion strukturell gekoppelt bleibt, und lassen so stille Verschlechterungen unbemerkt.

Die neue Technik namens Bi‑Predictability (P) nutzt ein einfaches, informationstheoretisches Maß, das direkt aus den Roh‑Token‑Häufigkeiten berechnet wird. Mit dem leichtgewichtigen „Information Digital Twin“ (IDT) wird P ohne zusätzliche Inferenzschichten oder Embeddings über den gesamten Kontext‑Antwort‑Prompt‑Zyklus hinweg geschätzt.

In einer umfangreichen Testreihe mit 4 500 Konversationen zwischen einem Studentenmodell und drei führenden Lehrer‑Modellen konnte der IDT sämtliche gezielt eingesetzten Störungen mit 100 % Sensitivität erkennen. Dabei zeigte sich, dass P in 85 % der Fälle mit der strukturellen Konsistenz übereinstimmt, während die Übereinstimmung mit semantischen Gutachten lediglich 44 % beträgt. Das verdeutlicht ein kritisches „stilles Uncoupling“, bei dem LLMs trotz abnehmender Kontextkohärenz weiterhin hoch bewertete Ausgaben liefern. Durch die Trennung von struktureller Überwachung und semantischer Bewertung kann der IDT solche stillen Verschlechterungen frühzeitig aufdecken.