Sparse Visual Thought Circuits in Vision Models: Modularität Sparse Autoencodern

Eine neue Untersuchung beleuchtet die Rolle von Sparse Autoencodern (SAEs) in multimodalen Vision‑Language‑Modellen und stellt die weit verbreitete Annahme ihrer modularen, komposierbaren Funktionsweise in Frage. Durch gezielte Interventionen an task‑selektiven Feature‑Sätzen konnten die Forscher zeigen, dass eine solche Modifikation zwar die Genauigkeit der Schlussfolgerungen leicht verbessern kann, jedoch die Kombination zweier solcher Sätze zu unerwarteten Output‑Veränderungen und einer deutlichen Genauigkeitsverschlechterung führt. Diese „nicht‑modulare“ Interferenz deutet auf gemeinsame interne Pfade hin, bei denen die Aktivierung von Feature‑Unions die Schaltkreise verstärken.

Zur Untersuchung dieser Phänomene entwickelte das Team eine reproduzierbare kausale Pipeline, die auf dem Vision‑Language‑Modell Qwen3‑VL‑8B angewendet wurde. Auf einem synthetischen Benchmark mit sieben Aufgabenarten und drei Schwierigkeitsstufen identifizierten lineare Probes einen mittleren Decoder‑Layer, der die Aufgabeninformation trägt. Dort wurden SAEs trainiert, task‑selektive Feature‑Sätze anhand expliziter Regeln gebildet und anschließend während der Inferenz skaliert und abgelöscht, um Genauigkeit und Drift zu messen.

Die Ergebnisse wurden durch bootstrappte Stichproben, Permutationskontrollen und die Replikation über mehrere VLM‑Familien sowie fünf unterschiedliche Datensätze validiert. Die Studie legt die Grenzen der Komposierbarkeit von SAE‑Features klar fest und liefert ein rigoroses Diagnose‑Framework, das die Steuerung von Vision‑Language‑Modellen zuverlässiger machen soll.