WebRSSBench: MLLM‑Tests für Web‑Reasoning, Robustheit und Sicherheit

Ein neues Benchmark‑Set namens WebRSSBench wurde vorgestellt, um multimodale große Sprachmodelle (MLLMs) in ihrer Fähigkeit zu prüfen, komplexe Web‑Anwendungen zu verstehen. Während frühere Tests vor allem die visuelle Wahrnehmung oder die Generierung von UI‑Code bewerteten, konzentriert sich WebRSSBench auf die drei entscheidenden Dimensionen Reasoning, Robustness und Safety.

Der Testumfang umfasst acht Aufgaben, darunter Positions‑ und Beziehungs‑Reasoning, Farbstabilität und die Erkennung sicherheitskritischer Interaktionen. Die Datenbank besteht aus 729 realen Webseiten und 3.799 Frage‑Antwort‑Paaren, die mehrstufige Inferenzen über Seitenstruktur, Text, Widgets und kritische Interaktionen erfordern. Durch standardisierte Prompts, deterministische Evaluationsskripte und einen mehrstufigen Qualitätskontrollprozess – automatisierte Prüfungen kombiniert mit gezielter menschlicher Verifikation – soll die Messgenauigkeit sichergestellt werden.

Bei der Bewertung von zwölf MLLMs zeigte sich, dass die Modelle noch erhebliche Lücken aufweisen. Sie kämpfen mit zusammengesetzten und übergreifenden Element‑Reasonings in realistischen Layouts, reagieren nur begrenzt auf UI‑Störungen wie Layout‑Umstellungen oder visuelle Stiländerungen und sind vorsichtig bei der Erkennung und Vermeidung sicherheitskritischer oder irreversibler Aktionen.

Der komplette Code und die Datensätze sind auf GitHub verfügbar: https://github.com/jinliang-byte/webssrbench.