OMD-Bench: Benchmark testet Modality-Resilienz und Abstentionsgenauigkeit

Der neue OMD-Bench‑Benchmark stellt die Robustheit von omni‑modalen Modellen auf die Probe, indem er zunächst alle Modalitäten – Video, Audio und Text – gleichwertig präsentiert und anschließend gezielt einzelne oder mehrere Modalitäten beschädigt. So lässt sich klar erkennen, welche Modalität tatsächlich zur Lösung beiträgt und wie stark Modelle auf widersprüchliche Signale reagieren.

Mit 4 080 Testfällen, die 27 unterschiedliche Ankerobjekte in acht verschiedenen Störungsbedingungen abdecken, bietet OMD-Bench einen umfangreichen Testdatensatz. Jeder Anker wird in allen drei Modalitäten gleichzeitig dargestellt, sodass die ursprüngliche Information exakt gleich bleibt, bevor die Modifikationen vorgenommen werden.

Die Evaluation von zehn omni‑modalen Modellen in Zero‑Shot- und Chain‑of‑Thought‑Prompting zeigte, dass die Modelle bei Beschädigung von zwei Modalitäten zu stark abstinent, während sie bei vollständiger Beschädigung aller drei Modalitäten zu wenig abstinent. Gleichzeitig behalten sie selbst bei kompletter Störung eine hohe Konfidenz von etwa 60 % bis 100 % bei. Chain‑of‑Thought‑Prompting verbessert die Abstentionsangemessenheit im Vergleich zu menschlichen Urteilen, führt jedoch zu einer verstärkten Überkonfidenz.

OMD-Bench liefert damit ein wertvolles Diagnosewerkzeug, um die Modality‑Abhängigkeit, die Widerstandsfähigkeit gegenüber cross‑modalen Inkonsistenzen und die Unsicherheitskalibrierung omni‑modaler Systeme systematisch zu untersuchen und zu verbessern.