Mehrere Antworten von LLMs enthüllen Unsicherheitsursachen
Große Sprachmodelle haben in vielen Bereichen Durchbrüche erzielt, liefern aber immer noch unzuverlässige oder irreführende Ergebnisse. Diese Schwächen stellen ein ernstes Problem für den Einsatz in der Praxis dar.
Eine neue Studie zeigt, dass die Muster des Uneinhalts bei mehreren von einem LLM generierten Antworten wichtige Hinweise auf die Ursache der Unsicherheit liefern.
Die Forscher sammeln mehrere Antworten eines Ziel-LLMs und nutzen ein zusätzliches Modell, um die Diskrepanzen zu analysieren. Dieses Hilfsmodell bewertet, ob die Unsicherheit auf Mehrdeutigkeit der Frage, fehlendes Wissen oder beides zurückzuführen ist.
Bei Wissenslücken kann das Hilfsmodell sogar die fehlenden Fakten oder Konzepte benennen, die die Unsicherheit verursachen.
Die Methode wurde erfolgreich an den Datensätzen AmbigQA, OpenBookQA und MMLU-Pro getestet und demonstriert ihre allgemeine Anwendbarkeit zur Diagnose verschiedener Unsicherheitsquellen.
Durch die gezielte Diagnose lassen sich gezielte manuelle Eingriffe planen, die die Leistung und Zuverlässigkeit von LLMs deutlich verbessern können.