LLM‑Selbsterklärungen verbessern Vorhersage von Modellverhalten

Selbsterklärungen großer Sprachmodelle (LLMs) gelten als vielversprechendes Mittel zur Überwachung von KI, doch ihre Treue zum eigentlichen Denkprozess der Modelle ist bislang kaum geklärt. Traditionelle Messgrößen für die Glaubwürdigkeit stützen sich meist auf das Aufdecken von Unwahrheiten durch gezielte Angriffe oder das Erkennen von Fehlern im Argumentationsfluss. Diese Ansätze vernachlässigen jedoch, wie gut die Erklärungen tatsächlich die zukünftige Reaktion des Modells vorhersagen können.

Um dieses Problem anzugehen, wurde die Normalized Simulatability Gain (NSG) entwickelt – ein skalierbares Maß, das davon ausgeht, dass eine glaubwürdige Erklärung es einem Beobachter ermöglicht, die Entscheidungslogik des Modells zu erlernen und damit sein Verhalten bei ähnlichen Eingaben besser vorherzusagen. Die Methode wurde an 18 hochmodernen Modellen, darunter Gemini 3, GPT‑5.2 und Claude 4.5, getestet. Dabei wurden rund 7 000 kontrafaktische Beispiele aus den Bereichen Gesundheit, Wirtschaft und Ethik herangezogen.

Die Ergebnisse zeigen, dass Selbsterklärungen die Vorhersagegenauigkeit des Modellverhaltens um 11 % bis 37 % steigern. Darüber hinaus liefern sie mehr Vorhersagekraft als Erklärungen, die von externen Modellen generiert werden – selbst wenn diese Modelle leistungsstärker sind. Dies unterstreicht den Vorteil des „Selbstwissens“, den externe Erklärungsansätze nicht replizieren können. Gleichzeitig identifizierte die Studie, dass 5 % bis 15 % der Selbsterklärungen stark irreführend sind.

Insgesamt liefert die Untersuchung einen überzeugenden Beleg dafür, dass Selbsterklärungen trotz ihrer Unvollkommenheiten wertvolle Informationen enthalten, die die Vorhersage des Modellverhaltens verbessern. Diese Erkenntnisse legen nahe, dass die Nutzung von LLM‑Selbsterklärungen ein sinnvolles Instrument für die KI‑Überwachung darstellt.