SciVisAgentBench: Benchmark für KI‑gestützte wissenschaftliche Visualisierung

Mit den jüngsten Fortschritten bei großen Sprachmodellen entstehen Agentensysteme, die natürliche Sprachbefehle in konkrete wissenschaftliche Visualisierungsaufgaben übersetzen können. Trotz dieser schnellen Entwicklung fehlt der Community ein systematischer, reproduzierbarer Test, um solche SciVis‑Agenten in realistischen, mehrstufigen Analyseumgebungen zu bewerten. SciVisAgentBench füllt diese Lücke.

Der neue Benchmark basiert auf einer strukturierten Taxonomie, die vier Dimensionen abdeckt: Anwendungsbereich, Datentyp, Komplexitätsgrad und Visualisierungsoperation. Aktuell umfasst er 108 von Experten erstellte Fälle, die ein breites Spektrum an wissenschaftlichen Visualisierungsszenarien abdecken. Durch diese Vielfalt können Agenten unter realitätsnahen Bedingungen getestet werden.

Zur zuverlässigen Bewertung wurde ein multimodaler, ergebnisorientierter Evaluationsprozess entwickelt. Er kombiniert LLM‑basierte Urteilsfindung mit deterministischen Prüfern, darunter bildbasierte Metriken, Code‑Checker, regelbasierte Verifikatoren und fallbezogene Evaluatoren. Eine Validitätsstudie mit zwölf SciVis‑Experten hat die Übereinstimmung zwischen menschlichen und LLM‑Richtern untersucht und die Glaubwürdigkeit des Ansatzes bestätigt.

Mit diesem Rahmen wurden exemplarische SciVis‑Agenten sowie generische Coding‑Agenten getestet, um erste Basiswerte zu etablieren und Lücken in den Fähigkeiten sichtbar zu machen. SciVisAgentBench ist als lebendiger Benchmark konzipiert, der systematische Vergleiche, Fehlermodi und Fortschritte in der Agenten‑gestützten Visualisierung unterstützt. Der Benchmark ist unter https://scivisagentbench.github.io/ verfügbar.