Messung von Widersprüchen bei mehrfachem LLM‑Reasoning

Neues Forschungsergebnis aus dem Bereich der großen Sprachmodelle (LLMs) zeigt, dass diese Modelle häufig widersprüchliche Antworten liefern, wenn sie mehrere zusammenhängende Fragen beantworten. Die Studie untersucht die „Case‑File‑Logik“, also die Aufrechterhaltung eines global konsistenten Glaubenszustands über abhängige Anfragen hinweg.

Zur Messung wurde ein Benchmark mit 390 Multi‑Query‑Reasoning‑Instanzen erstellt, die jeweils mit „Entailment“, „Contradiction“ oder „Unknown“ gekennzeichnet sind. Für die Bewertung wurden neue, auf Satzebene basierende Metriken eingeführt: Case Satisfiability Rate, Contradiction Density und Revision Cost.

Der vorgeschlagene Ansatz kombiniert einen Solver, um Verpflichtungen zu extrahieren, die globale Konsistenz zu prüfen und gezielt Gegenbeispiele zu nutzen, um Fehler zu beheben. In vier unterschiedlichen Domänen konnte die Methode die Anzahl der Widersprüche zwischen Anfragen von 0,56 auf 0,94 senken, ohne die Genauigkeit einzelner Antworten zu beeinträchtigen. Damit wird deutlich, dass globale Kohärenz entscheidend für robuste Mehrfachanfrage‑Reasoning‑Modelle ist.