Pragma-VL: Sicherheit und Hilfsbereitschaft in multimodalen Modellen ausbalanciert

Multimodale Large Language Models (MLLMs) stellen neue Sicherheitsherausforderungen dar, denn sie können nicht nur durch gezielte Angriffe wie Jailbreaking manipuliert werden, sondern auch unbeabsichtigt schädliche Inhalte für harmlose Nutzer erzeugen. Traditionelle Schutzmaßnahmen wie Supervised Fine‑Tuning (SFT) und Reinforcement Learning (RL) führen häufig zu einem Spannungsfeld zwischen übermäßiger Vorsicht und vernachlässigten Risiken in der multimodalen Interaktion.

Pragma‑VL präsentiert einen ganzheitlichen Ansatz, der MLLMs ermöglicht, Sicherheit und Hilfsbereitschaft pragmatisch abzuwägen. Im ersten Schritt wird die visuelle Risikowahrnehmung durch ein neuartiges, kaltes SFT‑Modell verbessert. Hierbei kommen risiko‑bewusste Cluster‑Techniken zum Einsatz und ein interleaved Datensatz aus Risikobeschreibungen und hochwertigen Inhalten wird genutzt.

Der zweite Schritt führt ein theoretisch garantiertes Reward‑Modell ein, das synergistisches Lernen nutzt. Durch eine innovative Datenaugmentation werden dynamische Gewichtungen je nach Anfrage vergeben, sodass das Modell kontextabhängig zwischen Sicherheit und Nützlichkeit entscheiden kann.

Umfangreiche Tests zeigen, dass Pragma‑VL die Balance zwischen Sicherheit und Hilfsbereitschaft deutlich verbessert und die bestehenden Baselines um 5 % bis 20 % auf den meisten multimodalen Sicherheitsbenchmarks übertrifft – ohne dabei die allgemeinen Fähigkeiten in Bereichen wie Mathematik oder Wissens­schärfung zu beeinträchtigen.