Neue Benchmark OOD-MMSafe zeigt Schwächen multimodaler KI bei versteckten Gefahren

Die Sicherheit multimodaler Large Language Models (MLLMs) steht im Fokus der Forschung, doch bisher konzentriert sich die Arbeit vorwiegend auf böswillige Absichten oder situative Verstöße. Mit dem neuen Benchmark OOD-MMSafe wird ein Paradigmenwechsel angestoßen: Statt nur offensichtliche Gefahren zu erkennen, soll die KI lernen, versteckte Konsequenzen in komplexen Ursache-Wirkungs-Ketten aufzudecken.

OOD-MMSafe besteht aus 455 sorgfältig kuratierten Abfrage-Bild-Paaren, die speziell darauf ausgelegt sind, die Fähigkeit von Modellen zu prüfen, latente Risiken zu identifizieren. Die Analyse zeigt, dass selbst hochleistungsfähige, geschlossene Modelle bis zu 67,5 % der Fälle versagen – ein alarmierender Befund, der die Grenzen aktueller Sicherheitsansätze aufzeigt. Besonders auffällig ist, dass statische Ausrichtungsstrategien häufig zu formatbezogenen Fehlern führen, anstatt die eigentliche Sicherheitslogik zu verbessern.

Um diese Schwächen zu beheben, wurde das Konzept des Consequence‑Aware Safety Policy Optimization (CASPO) entwickelt. CASPO nutzt die eigene Schlussfolgerungsfähigkeit des Modells als dynamische Referenz für token‑basierte Selbst‑Distillation-Belohnungen. In Experimenten konnte CASPO die Fehlerquote bei der Risikoidentifikation drastisch senken: Für Qwen2.5‑VL‑7B auf 7,3 % und für Qwen3‑VL‑4B auf 5,7 %, ohne dabei die Gesamtleistung zu beeinträchtigen.

Diese Fortschritte markieren einen wichtigen Schritt hin zu robusteren, verantwortungsvolleren KI‑Systemen, die nicht nur böswillige Absichten, sondern auch subtile, versteckte Gefahren erkennen können. Der OOD-MMSafe-Benchmark und das CASPO‑Framework bieten damit wertvolle Werkzeuge für die nächste Generation sicherer multimodaler Modelle.