MemJack: Memory-gestützte Multi-Agent-Jailbreak-Angriffe auf Vision‑Language‑Modelle

Die rasante Weiterentwicklung von Vision‑Language‑Modellen (VLMs) hat die KI-Fähigkeiten enorm erweitert, eröffnet aber gleichzeitig ein weit größeres und weniger kontrolliertes Angriffs‑Vielseitigkeitsfeld. Während bisherige multimodale Jailbreak‑Strategien sich hauptsächlich auf Pixel‑Veränderungen, typografische Manipulationen oder schädliche Bilder konzentrieren, bleiben die komplexen semantischen Strukturen visueller Daten weitgehend unberührt.

Um diese tief verwurzelten semantischen Schwachstellen aufzudecken, stellt das neue Forschungsprojekt MemJack vor. MemJack ist ein memory‑augmentiertes Multi‑Agent‑Framework, das gezielt die visuellen Semantik nutzt, um automatisierte Jailbreak‑Angriffe zu orchestrieren. Durch koordinierte Agenten werden Bildobjekte dynamisch mit böswilligen Absichten verknüpft, adversariale Prompt‑Kombinationen aus verschiedenen Blickwinkeln erzeugt und ein geometrischer Filter namens Iterative Nullspace Projection (INLP) eingesetzt, um frühzeitige Ablehnungen im latenten Raum zu umgehen.

Ein zentrales Merkmal von MemJack ist die persistente Multimodal Experience Memory, die erfolgreiche Angriffsstrategien speichert und über verschiedene Bilder hinweg weitergibt. Dadurch können zusammenhängende, mehrtönige Jailbreak‑Interaktionen aufrechterhalten werden, was die Erfolgsrate (Attack Success Rate, ASR) signifikant steigert. In umfangreichen Tests auf unveränderten COCO‑val2017‑Bildern erreichte MemJack eine ASR von 71,48 %.

Die Ergebnisse zeigen, dass die semantische Tiefe von Bildern ein bislang wenig beachtetes Angriffs‑Vielseitigkeitsfeld darstellt. MemJack demonstriert, wie koordinierte Multi‑Agent‑Ansätze und Speichermechanismen die Sicherheit von VLMs ernsthaft gefährden können und unterstreicht die Notwendigkeit neuer Schutzmaßnahmen gegen solche semantisch basierten Angriffe.