Neues DACO-Framework stärkt Sicherheit multimodaler Sprachmodelle

Multimodale Large Language Models (MLLMs) sind zunehmend anfällig für böswillige Anfragen, die gefährliche Antworten auslösen können. Traditionelle Ansätze wie Prompt‑Engineering, Klassifikation von Antworten oder Feinabstimmung stoßen dabei oft an ihre Grenzen, weil sie sich schwer gegen sich wandelnde Angriffs­muster anpassen lassen, zusätzliche Rechenressourcen erfordern oder die ursprüngliche Anfrage erneut ausführen müssen.

Um diese Schwächen zu überwinden, präsentiert ein neues Forschungsprojekt das Dictionary‑Aligned Concept Control (DACO). Das System nutzt ein sorgfältig kuratiertes Konzept‑Dictionary mit 15.000 multimodalen Begriffen, das aus über 400.000 Bild‑Beschriftungs‑Stimuli abgeleitet wurde – ein Datensatz, der als DACO‑400K bezeichnet wird. Durch die Zusammenfassung der Aktivierungen dieser Stimuli in Konzept‑Richtungen erhält DACO eine hochauflösende Karte der semantischen Inhalte, die in MLLMs verarbeitet werden.

DACO steuert die Aktivierungen eines eingefrorenen Modells während der Inferenz mithilfe eines Sparse Autoencoders (SAE). Der SAE wird mit dem Dictionary initialisiert und lernt dabei, die Aktivierungen in diskrete, leicht interpretierbare Atom‑Komponenten zu zerlegen. Diese Atom‑Komponenten werden automatisch semantisch annotiert, sodass gezielte Eingriffe möglich sind, ohne andere Konzepte zu beeinträchtigen. Das Ergebnis ist ein flexibles, ressourcenschonendes Steuerungssystem, das die Sicherheit von MLLMs in Echtzeit verbessert.

Experimentelle Tests an führenden Modellen wie QwenVL, LLaVA und InternVL zeigen, dass DACO die Leistung auf mehreren Sicherheits‑Benchmarks – darunter MM‑SafetyBench und JailBreakV – deutlich steigert. Die Ergebnisse deuten darauf hin, dass DACO ein vielversprechender Ansatz ist, um multimodale Sprachmodelle gegen böswillige Eingaben zu schützen und gleichzeitig die Effizienz und Skalierbarkeit zu erhalten.