RADAR: Neues Framework macht KI-Analyse von Diagrammen nachvollziehbar
Diagramme und Grafiken sind unverzichtbare Werkzeuge für quantitative Analysen und Entscheidungen in allen Fachbereichen. Sie erfordern jedoch eine präzise Interpretation und mathematisches Denken, was bei automatisierten Systemen oft schwierig ist.
Mit dem Aufkommen multimodaler Large Language Models (MLLMs) eröffnen sich neue Möglichkeiten, Diagramme zu verarbeiten, Fragen zu beantworten und Zusammenfassungen zu generieren. Doch diese Modelle bleiben meist ein Black‑Box‑System, das nicht offenlegt, welche Teile der Grafik die Antworten beeinflusst haben. Diese Undurchsichtigkeit erschwert Vertrauen und die praktische Anwendung.
Das neue RADAR‑Framework (Reasoning‑Guided Attribution for Data Analysis in Visuals) setzt genau hier an. Es ermöglicht, die Rechenwege von MLLMs sichtbar zu machen, indem die relevanten Regionen in Diagrammen markiert werden, die die Modellantworten begründen.
Für die Evaluation wurde ein umfangreiches Benchmark‑Set mit 17.819 Beispielen erstellt. Jedes Sample enthält ein Diagramm, eine zugehörige Frage, die Zwischenschritte der Modellrechnung und Annotationen, welche Bildbereiche die Antworten stützen.
Darüber hinaus präsentiert RADAR eine Methode zur Attribution von mathematischem Denken in Diagrammen. Sie verbindet die Analyse der visuellen Elemente mit den logischen Schritten des Modells, sodass die Herkunft jeder Antwort nachvollziehbar wird.
Die Experimente zeigen, dass die reasoning‑guided‑Attribution die Genauigkeit der Zuordnung um 15 % gegenüber herkömmlichen Baselines verbessert. Gleichzeitig führt die verbesserte Transparenz zu einer stärkeren Antwortgenerierung, die mit einem durchschnittlichen BERTScore von etwa 0.90 die Ground‑Truth‑Antworten sehr gut abbildet.
Diese Fortschritte markieren einen bedeutenden Schritt in Richtung interpretierbarer und vertrauenswürdiger Diagrammanalyse‑Systeme. Nutzer können nun nicht nur die Antworten der KI prüfen, sondern auch verstehen, welche Datenpunkte die Entscheidungen beeinflusst haben.