Skalen-Design beeinflusst LLM-Vertrauensbewertung entscheidend

Eine neue Studie aus dem arXiv-Repository zeigt, dass die Gestaltung von Vertrauensskalen bei großen Sprachmodellen (LLMs) weit mehr Einfluss hat als bisher angenommen. Während die meisten Anwendungen die Skala 0–100 als Standard nutzen, demonstriert die Forschung, dass diese Wahl die Qualität der verbalisierten Unsicherheit stark verzerrt.

Die Untersuchung umfasste sechs verschiedene LLMs und drei Datensätze. Dabei wurde festgestellt, dass mehr als 78 % der Antworten auf nur drei runde Zahlen konzentriert sind, was auf eine starke Diskretisierung der Skala hinweist. Durch gezielte Manipulationen der Skalenauflösung, der Grenzpositionen und der Regelmäßigkeit der Werte konnte die Metakognitionssensitivität mittels meta‑d' gemessen werden.

Ergebnisse zeigen, dass eine kompaktere Skala von 0 bis 20 die metakognitive Effizienz konsequent verbessert, während das Zusammenziehen der Grenzen die Leistung verschlechtert. Interessanterweise bleiben die Präferenzen für runde Zahlen auch bei unregelmäßigen Skalen bestehen. Diese Erkenntnisse unterstreichen, dass das Design der Vertrauensskala ein entscheidender, bislang unterschätzter Faktor in der Bewertung von LLMs ist und künftig als eigenständige Variable betrachtet werden sollte.