SELFDOUBT: Ein einzelner Pass zur Unsicherheitsabschätzung bei Sprachmodellen

Die präzise Abschätzung von Unsicherheit in Sprachmodellen, die komplexe Argumentationen durchführen, ist bislang ein großes Problem. Traditionelle Verfahren, die auf Stichproben basieren, sind rechenintensiv, während einfache Ein-Pass-Maße wie verbalisierte Zuversicht oder Tokenlänge oft inkonsistent sind. Besonders schwierig wird die Situation bei proprietären APIs, die weder Logits noch Zwischenergebnisse offenlegen, sodass Anwender keine verlässlichen Unsicherheitssignale erhalten.

Mit SELFDOUBT wird dieses Hindernis überwunden. Das Verfahren nutzt einen einzigen, beobachteten Argumentationspfad und extrahiert daraus Verhaltenssignale. Der zentrale Indikator, das Hedge-to-Verify Ratio (HVR), erkennt, ob ein Pfad Unsicherheitsmarker enthält und ob diese durch explizite Selbstüberprüfungen ausgeglichen werden. Dadurch entfällt die Notwendigkeit mehrerer Stichproben oder Zugriff auf Modellinterne.

In umfangreichen Tests an sieben Modellen und drei Multi-Step-Reasoning-Benchmarks (BBH, GPQA-Diamond, MMLU-Pro) zeigte SELFDOUBT beeindruckende Ergebnisse. Argumentationspfade ohne Hedging-Marker waren zu 96 % korrekt – ein hochpräziser Zuversichtsgate ohne zusätzlichen Aufwand. Für die restlichen Fälle übertraf der vollständige SELFDOUBT-Score die sampling‑basierten semantischen Entropie-Maße bei zehnmal geringeren Inferenzkosten. Eine Kombination beider Stufen erreichte 90 % Genauigkeit bei 71 % Abdeckung, ohne dass task‑spezifische Anpassungen nötig waren.

SELFDOUBT bietet damit eine effiziente, latenz- und kostenbewusste Lösung für die Unsicherheitsabschätzung in allen Arten von proprietären Sprachmodell-APIs, und eröffnet neue Möglichkeiten für die praktische Anwendung von KI‑gestützten Argumentationssystemen.