Diffusions-LLMs: Neue Technik verbessert visuelle Argumentation

Diffusionsbasierte große Sprachmodelle (dLLMs) gewinnen zunehmend an Bedeutung als attraktive Alternative zu autoregressiven Modellen. Durch die Erweiterung auf multimodale Aufgaben entstehen Diffusions‑Multimodal‑Large‑Language‑Models (dMLLMs), die die Rechenleistung durch parallele Generierung steigern und gleichzeitig die Denkfähigkeiten traditioneller LLMs beibehalten sollen.

Bei der Anwendung von Chain‑of‑Thought‑Reasoning zeigen dMLLMs jedoch zwei gravierende Schwächen: Erstens erzeugen sie häufig das Endergebnis bereits in sehr frühen Zeitschritten, bevor ausreichend überlegt wurde, was die Qualität der Argumentation mindert. Zweitens nutzen sie in den ersten Zeitschritten kaum visuelle Hinweise, was ein deutlich anderes Muster der Bild‑Informationenutzung im Vergleich zu autoregressiven Vision‑Language‑Modellen widerspiegelt.

Um diese Probleme zu beheben, stellen die Autoren Position and Step Penalty (PSP) vor, das Tokens in späteren Positionen während der frühen Zeitschritte bestraft und so das vorzeitige Abschließen von Antworten verzögert. Ergänzend wird Visual Reasoning Guidance (VRG) eingeführt, das, inspiriert von classifier‑free guidance, die Signale aus visuellen Eingaben verstärkt und die Ausrichtung des Modells auf Bildbeweise verbessert.

Umfangreiche Experimente mit verschiedenen dMLLMs zeigen, dass die Kombination aus PSP und VRG die Leistung um bis zu 7,5 % steigert und damit die visuelle Argumentation in Diffusions‑Modellen signifikant verbessert.