FuzzingRL: Verstärkendes Fuzz‑Testing enthüllt Schwächen von VLMs

Vision‑Language‑Modelle (VLMs) werden immer häufiger in sicherheitskritischen Anwendungen eingesetzt, doch ihre Fehleranfälligkeit bleibt ein zentrales Problem. Um die Zuverlässigkeit dieser Systeme zu erhöhen, ist es entscheidend, die Schwachstellen systematisch zu identifizieren.

In der neuen Studie „FuzzingRL“ wird ein automatisierter Ansatz vorgestellt, der gezielt Fragen generiert, die VLMs in die Irre führen. Durch die Kombination von Fuzz‑Testing und verstärkendem Feintuning werden einzelne Eingabeanfragen in eine große Menge an Varianten verwandelt, die sowohl visuelle als auch sprachliche Abweichungen enthalten.

Die erzeugten Varianten dienen als Basis für ein adversariales Reinforcement‑Learning, das den Fragegenerator weiter optimiert. Das Ergebnis ist ein stetiger Rückgang der Antwortgenauigkeit des Zielmodells. Bei Qwen2.5‑VL‑32B sank die Trefferquote von 86,58 % auf 65,53 % nach vier Iterationen des Lernprozesses.

Ein weiterer bemerkenswerter Befund ist die Übertragbarkeit der Fuzz‑Policy: Ein einmal gegen ein bestimmtes VLM trainiertes Modell kann auch andere Modelle effektiv angreifen und deren Leistung signifikant reduzieren.