Brücke zwischen Wissen und Handeln – neue Methode reduziert Fehler bei LLMs

In der Welt der großen Sprachmodelle (LLMs) ist es nicht selten, dass sie auf fehlerhafte oder unklare Eingaben scheinbar korrekte Antworten liefern. Dieser Effekt entsteht nicht, weil die Modelle das nötige Wissen vermissen, sondern weil sie zwischen der Erkennung von Problemen (discriminative Prompting) und dem generativen Antwortverhalten eine Lücke aufweisen.

Um diese Problematik systematisch zu untersuchen, hat ein Forschungsteam die Benchmark‑Sammlung FaultyScience entwickelt. Diese umfasst tausende wissenschaftlicher Fragen aus verschiedenen Disziplinen, die bewusst fehlerhaft oder mehrdeutig sind. Die Analyse zeigte, dass die Lücke weit verbreitet ist und vor allem durch die token‑basierte Autoregression verursacht wird, die die Auswahl der Aufgabe (Validierung vs. Beantwortung) mit der eigentlichen Inhaltserzeugung verknüpft.

Als Lösung präsentiert das Team DeIllusionLLM, ein task‑level autoregressives Framework, das die Entscheidung zwischen Validierung und Beantwortung explizit modelliert. Durch Self‑Distillation wird das Modell dazu gebracht, discriminative Urteilsfähigkeit und generative Argumentation in einer einzigen Architektur zu vereinen.

Die experimentellen Ergebnisse sind überzeugend: DeIllusionLLM reduziert signifikant die Fälle, in denen das Modell trotz offensichtlicher Fehler eine Antwort liefert, und behält gleichzeitig seine generelle Fähigkeit zur logischen Argumentation bei. Damit demonstriert die Studie, dass Self‑Distillation eine skalierbare und effektive Methode ist, um die bekannte Know‑Act‑Lücke zwischen Erkennung und Handlung in LLMs zu schließen.