Sicherheitslücke bei Diffusions-Sprachmodellen: Angriff auf Denoising-Plan

Eine kürzlich veröffentlichte Studie auf arXiv hat eine fundamentale Schwachstelle in Diffusions-basierten Sprachmodellen (dLLMs) aufgedeckt. Diese Modelle erzeugen Text, indem sie schrittweise verrauschte Token‑Sequenzen wiederherstellen. Ihre Sicherheit beruht jedoch auf einer einzigen, fragilen Annahme: der Denoising‑Plan ist monoton und bereits festgelegte Tokens werden nie erneut bewertet.

Bei sicherheitsorientierten dLLMs werden Ablehnungstokens bereits in den ersten 8 bis 16 von 64 Denoising‑Schritten festgelegt. Der Plan behandelt diese Entscheidungen als endgültig. Ein äußerst einfacher Zwei‑Schritt‑Ansatz – die Tokens erneut maskieren und ein 12‑Token‑positiver Präfix einfügen – kann damit die Ablehnungsrate (ASR) auf dem HarmBench‑Benchmark drastisch erhöhen. Für LLaDA‑8B‑Instruct wurden 76,1 % ASR erreicht, für Dream‑7B‑Instruct sogar 81,8 % – und das ohne Gradient‑Berechnung oder aufwendige adversariale Suche.

Die Einfachheit des Angriffs ist das zentrale Ergebnis. Selbst wenn man zusätzliche, gradientoptimierte Störungen über einen differenzierbaren Gumbel‑Softmax‑Kettenmechanismus einsetzt, sinkt die ASR deutlich (z. B. 41,5 % statt 76,1 % bei einer Token‑Länge von 128). Dies bestätigt, dass die Schwachstelle strukturell bedingt ist und nicht auf komplexen Exploits beruht.

Die Forschung zeigt, dass die Sicherheit von dLLMs nicht adversariale Robustheit besitzt, sondern nur dann funktioniert, wenn der Denoising‑Plan strikt eingehalten wird. Als Gegenmaßnahmen schlagen die Autoren sicherheitsbewusste Unmasking‑Schemata, schrittweise Präfix‑Erkennung und eine Nachverifikation nach Commitments vor. Diese Ansätze könnten die Architektur stärken und die Modelle widerstandsfähiger gegen ähnliche Angriffe machen.