Neue Wahrheitssichere Unsicherheitsabschätzung steigert Zuverlässigkeit von Sprachmodellen

In einer aktuellen Veröffentlichung auf arXiv wird ein neues Verfahren vorgestellt, das die Zuverlässigkeit großer Sprachmodelle (LLMs) deutlich verbessern soll. Das Ziel ist die präzise Abschätzung von Unsicherheiten, um Halluzinationen in den generierten Texten frühzeitig zu erkennen.

Der Autor*innen zufolge zeigen herkömmliche Unsicherheitsmetriken häufig instabile Ergebnisse, wenn die Modelle unter unterschiedlichen Konfigurationen laufen. Dieses Phänomen wird als „Proxy‑Failure“ bezeichnet, weil die Metriken meist aus dem Verhalten des Modells abgeleitet werden, ohne direkt die faktische Richtigkeit der Ausgaben zu berücksichtigen. In solchen Low‑Information‑Regimen verlieren die Metriken ihre Unterscheidungsfähigkeit.

Um dem entgegenzuwirken, wird die Methode „Truth Anchoring“ (TAC) vorgestellt. TAC ist ein post‑hoc‑Kalibrierungsverfahren, das rohe Unsicherheitswerte in wahrsacheignungsorientierte Scores umwandelt. Selbst bei verrauschten und wenigen Trainingsbeispielen liefert TAC gut kalibrierte Unsicherheitsabschätzungen und bietet einen praktischen Kalibrierungsprotokoll.

Die Ergebnisse zeigen deutlich, dass heuristische Unsicherheitsmetriken allein keine verlässlichen Indikatoren für die Wahrheitssicherheit sind. TAC stellt einen notwendigen Schritt dar, um die Vertrauenswürdigkeit von LLMs zu erhöhen. Der zugehörige Code ist auf GitHub verfügbar: https://github.com/ponhvoan/TruthAnchor/.