Neues Benchmark FeynmanBench testet multimodale KI bei physikalischen Diagrammen

Die Wissenschafts-Community hat heute ein neues Tool vorgestellt: FeynmanBench, ein Benchmark, der multimodale große Sprachmodelle (MLLMs) auf ihre Fähigkeit prüft, komplexe physikalische Diagramme zu verstehen und zu bearbeiten. Das Projekt richtet sich speziell an die Analyse von Feynman-Diagrammen, die in der theoretischen Physik zur Darstellung von Teilchenwechselwirkungen verwendet werden.

FeynmanBench fordert die KI-Modelle heraus, mehrere Schritte der diagrammatischen Logik zu durchlaufen. Dazu gehören die Einhaltung von Erhaltungssätzen und Symmetriebedingungen, die Erkennung der Graphtopologie, die Umwandlung zwischen diagrammatischen und algebraischen Darstellungen sowie die Konstruktion von Streuamplituden unter definierten Konventionen und Gittern. Diese Aufgaben spiegeln die strukturelle Logik wissenschaftlicher Notationen wider, die bisher in Benchmark‑Tests oft vernachlässigt wurde.

Um eine große und reproduzierbare Testmenge zu gewährleisten, wurde ein automatisierter Pipeline-Workflow entwickelt. Dieser erzeugt eine Vielzahl von Feynman-Diagrammen aus den elektromagnetischen, schwachen und starken Wechselwirkungen des Standardmodells. Die Datenbank umfasst mehr als 100 unterschiedliche Diagrammtypen und über 2.000 Aufgaben, die jeweils mit verifizierbaren topologischen Annotationen und Amplitudenwerten versehen sind.

Die ersten Experimente mit führenden multimodalen LLMs zeigten deutliche Schwächen auf: Die Modelle konnten physikalische Einschränkungen nicht zuverlässig durchsetzen und verletzten häufig globale topologische Bedingungen. Diese Ergebnisse unterstreichen, dass aktuelle KI‑Systeme noch nicht in der Lage sind, die komplexen logischen Strukturen wissenschaftlicher Diagramme vollständig zu erfassen.

FeynmanBench bietet damit einen streng logischen Test, ob KI‑Modelle tatsächlich in der Lage sind, wissenschaftliche Entdeckungen zu unterstützen – insbesondere im Bereich der theoretischen Physik. Das Benchmark stellt einen wichtigen Schritt dar, um KI‑Systeme gezielt auf physikbasierte Aufgaben zu trainieren und ihre Grenzen klar zu definieren.