Neues Verfahren eliminiert Halluzinationen in Sprachmodellen

Ein neues Forschungsdokument auf arXiv (2509.25252v1) präsentiert die Methode „Fact Grounded Attention“ (FGA), die Sprachmodelle von der probabilistischen Unsicherheit in feste Wahrheiten verwandelt. Durch die direkte Einbindung verifizierbarer Fakten in die Attention‑Scores eines Transformers wird das Modell so angepasst, dass es keine Halluzinationen mehr erzeugt, sobald die relevanten Informationen im Wissensspeicher vorhanden sind.

Im Gegensatz zu bisherigen Ansätzen, die Halluzinationen erst nach der Textgenerierung korrigieren oder zusätzliche Suchtexte voranstellen, greift FGA in den Kern des Modells ein – die pre‑softmax Attention‑Werte. Dadurch bleibt die Modellarchitektur unverändert, während die Genauigkeit dramatisch steigt. In einer umfangreichen Testreihe mit 1.107 technischen Fragen zu Smartphones, Laptops und Elektrofahrzeugen verbesserte sich die Trefferquote von 6,3 % bei einem Standard‑Llama 3.2 auf beeindruckende 99,7 %.

Ein weiterer Vorteil ist die Geschwindigkeit der Wissensaktualisierung: Neue Fakten können in weniger als einer Sekunde in das Modell integriert werden, ohne dass ein erneutes Training erforderlich ist. Das ist ein deutlicher Fortschritt gegenüber herkömmlichen Parameter‑Editiermethoden, die mehrere Stunden benötigen.

FGA markiert damit einen grundlegenden Wandel von der probabilistischen Annäherung hin zur deterministischen Präzision in der neuronalen Sprachgenerierung. Die Technologie verspricht, die Zuverlässigkeit von KI‑gestützter Textproduktion nachhaltig zu erhöhen und die Nutzung von Sprachmodellen in sicherheitskritischen Bereichen zu erleichtern.