Vielversprechende VLMs verlieren visuelle Basis – neues Paper zeigt Risiko

Eine aktuelle Studie auf arXiv beleuchtet ein bislang wenig beachtetes Phänomen bei multimodalen Sprach‑ und Bildmodellen (VLMs): Während die Modelle im Laufe des Denkprozesses immer präziser werden, verlieren sie zunehmend die visuelle Grundlage ihrer Entscheidungen. Dieses „Beweis‑Kollaps“-Verhalten schafft gefährliche Zustände, in denen die Vorhersagen zwar zu 100 % sicher wirken, aber keine Bild‑Belege mehr berücksichtigen.

Die Autoren untersuchten drei führende VLMs auf den Datensätzen MathVista, HallusionBench und MMMU_Pro. Dabei zeigte sich, dass die Aufmerksamkeit auf annotierte Beweisregionen drastisch abnimmt – häufig verliert das Modell mehr als die Hälfte seiner Beweis‑Masse, sobald die Argumentation voranschreitet. Das Ergebnis ist ein starkes Risiko für Aufgaben, die eine kontinuierliche visuelle Referenz erfordern.

Ein entscheidender Befund ist, dass die Gesamtergebnis‑Entropie das verlässlichste textbasierte Unsicherheitssignal ist, wenn Modelle auf andere Datensätze übertragen werden. Das Hinzufügen von Bild‑Features über eine einzige globale lineare Regel erwies sich dagegen als fehleranfällig und kann die Transferfähigkeit sogar verschlechtern. Durch ein Entropie‑Vision‑Interaktionsmodell wurde ein task‑abhängiger Regime identifiziert: Niedrige Entropie bei gleichzeitigem visuellen Desengagement ist bei visuellen Referenzaufgaben gefährlich, während es bei symbolischen Aufgaben unbedenklich bleibt.

Um dieses Risiko zu mindern, demonstriert die Studie einen gezielten „Vision‑Veto“-Mechanismus, der die selektive Gefahr um bis zu 1,9 Prozentpunkte bei 90 % Abdeckung senkt, ohne die Leistung dort zu beeinträchtigen, wo ein Desengagement erwartet wird. Diese Ergebnisse unterstreichen die Notwendigkeit eines task‑sensiblen multimodalen Monitorings, um die sichere Einsatzfähigkeit von VLMs auch unter veränderten Verteilungsszenarien zu gewährleisten.