MaRVL‑QA: Neues Benchmark für mathematisches Denken aus Bildern

Die jüngsten Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) haben gezeigt, dass sie nicht nur Bilder beschreiben, sondern auch komplexe mathematische und räumliche Aufgaben lösen können. Ein entscheidender Schritt besteht darin, diese Modelle dazu zu bringen, aus visuellen Darstellungen direkt zu logischen Schlüsse zu gelangen, anstatt lediglich semantische Beschreibungen zu liefern.

Mathematische Oberflächenplots stellen hierfür ein ideales Testfeld dar. Sie entziehen dem Bild die üblichen semantischen Ablenkungen und fokussieren die Aufgabe ausschließlich auf das reine logische Denken. Durch die klare Struktur der Graphen können Modelle gezielt auf ihre Fähigkeit zur räumlichen Analyse geprüft werden.

Um den Fortschritt in diesem Bereich messbar zu machen, wurde das Benchmark‑Set MaRVL‑QA (Mathematical Reasoning over Visual Landscapes) entwickelt. Es umfasst zwei neue Aufgaben: „Topological Counting“, bei dem lokale Maxima und andere charakteristische Punkte gezählt werden, sowie „Transformation Recognition“, bei dem geometrische Transformationen erkannt werden müssen. Die Datensätze stammen aus einer sorgfältig kuratierten Bibliothek mathematischer Funktionen, die zudem einer strengen Ambiguitätsfilterung unterzogen wurde.

Die ersten Tests zeigen, dass selbst die fortschrittlichsten MLLMs noch erhebliche Schwierigkeiten haben. Sie greifen häufig auf oberflächliche Heuristiken zurück, anstatt echte räumliche Logik anzuwenden. MaRVL‑QA bietet damit ein anspruchsvolles Werkzeug, um die Grenzen aktueller Modelle aufzuzeigen, Fortschritte zu quantifizieren und die Entwicklung von MLLMs mit tiefergehenden Denkfähigkeiten zu steuern.