KI‑Metakognition: Neue Messmethoden für Entscheidungsqualität

In einer Zeit, in der künstliche Intelligenz immer stärker in Entscheidungsprozesse eingebunden wird, gewinnt die Fähigkeit von Systemen, ihre eigene Zuverlässigkeit einzuschätzen, zunehmend an Bedeutung. Ungewissheit und inhärente Risiken erfordern robuste Entscheidungsfindung, die nicht nur auf Daten, sondern auch auf einer selbstreflektierenden Einschätzung der eigenen Entscheidungen basiert.

Eine aktuelle Studie schlägt vor, die Metakognition von KI-Systemen mithilfe des meta‑d'-Frameworks – oder seiner modellfreien Alternativen – zu messen. Dieses Verfahren gilt als Goldstandard, weil es die Sensitivität der KI bei der Erzeugung von Vertrauensbewertungen quantifiziert, die korrekte von inkorrekten Antworten unterscheiden.

Zur Ergänzung nutzt die Arbeit die Signal‑Detection‑Theory (SDT), um zu prüfen, inwieweit KI‑Modelle ihre Entscheidungen spontan an Unsicherheit und Risiko anpassen können. Durch die Kombination beider Ansätze lassen sich drei Vergleichsachsen erschließen: die Leistung eines Modells im Vergleich zur theoretischen Optimalität, die Unterschiede zwischen Modellen bei einer Aufgabe und die Reaktion auf unterschiedliche Risikostufen.

Die Autoren führten zwei Experimentreihen an drei großen Sprachmodellen – GPT‑5, DeepSeek‑V3.2‑Exp und Mistral‑Medium‑2508 – durch. In der ersten Reihe bewerteten die Modelle zunächst eine Aufgabe und gaben anschließend eine Vertrauensbewertung ab. In der zweiten Reihe wurden die Modelle nur mit der Aufgabe konfrontiert, während die Risikobedingungen für die möglichen Antworten manipuliert wurden. Die Ergebnisse zeigen, dass die vorgestellten psychophysikalischen Rahmenwerkzeuge praktisch nutzbar sind und wertvolle Einblicke in die metakognitive Leistungsfähigkeit moderner KI‑Modelle liefern.