Neue Erkenntnisse: Wie Aufmerksamkeits-Head-Modelle Raumverständnis in VLMs verbessern

Obwohl Vision‑Language‑Modelle (VLMs) in vielen Bereichen beeindruckende Fortschritte erzielt haben, bleibt die Fähigkeit zur räumlichen Urteilsbildung ein hartnäckiges Problem. In einer aktuellen Studie wurde untersucht, welche Rolle die einzelnen Aufmerksamkeits‑Heads innerhalb dieser Modelle bei der Lösung räumlicher Aufgaben spielen.

Zur Analyse wurde das neue Dataset CogVSR entwickelt, das komplexe räumliche Fragen in eine Reihe von Zwischenschritten zerlegt. Jeder Unterfrage entspricht einer spezifischen kognitiven Funktion – etwa räumliche Wahrnehmung oder relationale Analyse – und simuliert damit ein menschliches „Chain‑of‑Thought“-Verfahren. Durch diese Struktur lässt sich die Funktionsweise der einzelnen Heads genauer nachvollziehen.

Auf Basis von CogVSR wurde ein gezieltes Probing‑Framework erstellt, das die Aufmerksamkeits‑Heads identifiziert, die für die jeweiligen kognitiven Aufgaben spezialisiert sind. Die Analyse über verschiedene VLM‑Familien hinweg zeigte, dass diese funktionalen Heads sehr sparsichtig verteilt sind und die Anzahl sowie die Verteilung je nach Funktion stark variieren. Besonders auffällig ist, dass räumlich spezialisierte Heads deutlich seltener vorkommen als Heads für andere kognitive Aufgaben.

Die Autoren entwickelten Methoden, um latente räumliche Heads gezielt zu aktivieren, was die räumliche Verständnisleistung der Modelle deutlich steigerte. Durch gezielte Interventionsstudien wurde gezeigt, dass das Entfernen dieser Heads die Leistung stark reduziert, während ihre Betonung die Genauigkeit erhöht. Diese Ergebnisse liefern neue, interpretierbare Einblicke in die räumliche Aufmerksamkeitsverteilung von VLMs und eröffnen Wege, komplexe räumliche Aufgaben in multimodalen Modellen besser zu bewältigen.