Steuerung der Verifizierbarkeit von Halluzinationen multimodaler KI

Wissenschaftler haben einen innovativen Ansatz entwickelt, um die Glaubwürdigkeit von Halluzinationen in multimodalen großen Sprachmodellen (MLLMs) gezielt zu steuern. Durch die Unterscheidung zwischen offensichtlichen und schwer erkennbaren Halluzinationen können nun spezifische Interventionen eingesetzt werden, die die Verifizierbarkeit der erzeugten Inhalte präzise anpassen.

Die Forschung basiert auf einer umfangreichen Datensammlung von 4.470 menschlichen Bewertungen, die Halluzinationen in zwei Kategorien einteilen: „offensichtliche“ Halluzinationen, die leicht von Nutzern erkannt werden, und „schwer erkennbare“ Halluzinationen, die mehr Überprüfungsaufwand erfordern. Diese Klassifizierung bildet die Grundlage für die Entwicklung maßgeschneiderter Kontrollmechanismen.

Im Kern steht ein sogenanntes „Activation‑Space‑Intervention“-Verfahren, das separate Prüfungen (Probes) für jede Halluzinationstypologie lernt. Die Ergebnisse zeigen, dass die beiden Halluzinationstypen unterschiedliche Aktivierungsprofile erzeugen, wodurch gezielte Interventionen möglich sind. Durch gezielte Anpassung der Probes lässt sich die Verifizierbarkeit der Ausgaben feinjustieren.

Experimentelle Tests belegen die Wirksamkeit des Ansatzes: Zielgerichtete Interventionen verbessern die Kontrolle über die jeweiligen Halluzinationstypen deutlich im Vergleich zu generischen Methoden. Darüber hinaus ermöglicht das Mischen der beiden Interventionsstrategien eine flexible Anpassung an unterschiedliche Einsatzszenarien, etwa bei sicherheitskritischen Anwendungen oder bei Anwendungen, die eine hohe Benutzerfreundlichkeit erfordern.

Diese Fortschritte markieren einen wichtigen Schritt in Richtung vertrauenswürdiger multimodaler KI-Systeme, indem sie Entwicklern und Anwendern ein Werkzeug an die Hand geben, um die Glaubwürdigkeit von KI-Ausgaben systematisch zu steuern und damit potenzielle Risiken für die Nutzer zu reduzieren.