Neues Verfahren nutzt metakognitive Sensitivität zur dynamischen Modellauswahl

In der Kognitionsforschung gilt Metakognition als Schlüssel zur Bewertung des eigenen Wissens. Forscher haben dieses Konzept nun auf künstliche Intelligenz übertragen und ein neues Verfahren entwickelt, das die „Selbstkenntnis“ von Deep‑Learning‑Modellen misst und nutzt.

Obwohl moderne Modelle ihre Vorhersagen oft mit einer Vertrauenswahrscheinlichkeit versehen, ist diese häufig schlecht kalibriert – die angegebene Sicherheit spiegelt nicht immer die tatsächliche Genauigkeit wider. Um dem entgegenzuwirken, stellen die Autoren die Kennzahl meta‑d′ vor, ein psychologisch fundiertes Maß für die metakognitive Sensitivität. Es quantifiziert, wie zuverlässig die eigene Vertrauensangabe eines Modells die tatsächliche Richtigkeit vorhersagt.

Der innovative Ansatz kombiniert diese Sensitivitätsbewertung mit einem bandit‑basierten Arbiter, der in Echtzeit entscheidet, welches von mehreren Expertenmodellen – seien es CNNs, Vision‑Language‑Modelle oder andere Architekturen – für eine gegebene Aufgabe am vertrauenswürdigsten ist. Durch die dynamische Auswahl wird die Gesamtvorhersagegenauigkeit über die einzelnen Modelle hinweg signifikant gesteigert.

Experimentelle Ergebnisse auf diversen Datensätzen und Modellkombinationen belegen, dass die metakognitive Strategie die Leistung von Ensembles verbessert und damit einen neuen Blickwinkel auf die Auswahl und Kombination von KI‑Modellen eröffnet.