Vision Language Models verstehen physikalische Transformationen nicht

Eine neue Studie aus dem arXiv-Repository (2603.07109v1) zeigt, dass aktuelle Vision‑Language‑Modelle (VLMs) nicht in der Lage sind, physikalische Transformationen korrekt zu erfassen. Die Forscher haben dafür ein neues Benchmark namens ConservationBench entwickelt, das prüft, ob physikalische Größen – wie Masse, Energie oder Impuls – unter Veränderungen unverändert bleiben.

ConservationBench umfasst vier fundamentale Eigenschaften und stellt jeweils ein konservierendes und ein nicht‑konservierendes Szenario vor. Insgesamt wurden 23 040 Fragen generiert, die an 112 verschiedenen VLMs getestet wurden. Die Ergebnisse sind eindeutig: Die Modelle liegen bei den Conservation‑Aufgaben nahe dem Zufallsniveau, und Verbesserungen bei einer Aufgabe führen häufig zu schlechteren Leistungen bei der Gegenfrage.

Kontrollstudien zeigten, dass starke textuelle Vorannahmen die Modelle dazu bringen, Invarianz zu bevorzugen. Sobald jedoch visuelle Inhalte einbezogen werden, verschlechtert sich die Leistung deutlich. Änderungen in der zeitlichen Auflösung, unterschiedliche Prompt‑Strategien oder gezielte Stichprobenwahl konnten die Situation nicht verbessern.

Die Studie unterstreicht, dass derzeitige VLMs keine transformation‑invarianten Darstellungen physikalischer Eigenschaften in dynamischen Szenen erzeugen können. Dies stellt ein bedeutendes Hindernis für die Weiterentwicklung von KI‑Systemen dar, die in realen, sich verändernden Umgebungen zuverlässig agieren sollen.