DPO kann multimodale Modelle nicht gleichzeitig verstehen und generieren

In einer ersten systematischen Untersuchung wurde geprüft, ob das Verfahren der Direct Preference Optimization (DPO) gleichzeitig die Verständnis- und Generierungsfähigkeiten von einheitlichen multimodalen Modellen verbessern kann. Dabei wurden die Modelle Janus‑Pro mit 1 Billion bzw. 7 Billion Parametern unter sieben verschiedenen Trainingsstrategien und zwei nachträglichen Optimierungsmethoden getestet.

Das Ergebnis war eindeutig: Die Qualität der Bildgenerierung ließ sich unter allen getesteten Bedingungen nicht durch DPO verbessern. Bei 7 Billion Parametern blieb der CLIPScore nahezu unverändert (Δ < 0,2, p > 0,5), während bei 1 Billion Parametern sämtliche Methoden die Generierungsleistung sogar verschlechterten. Diese Beobachtung gilt unabhängig von der Art der Präferenzdaten (real vs. generiert, Modell vs. Modell) und der Datenmenge (150–288 Paare).

Eine Gradientenanalyse zeigte die Ursache auf: Die Gradienten für Verständnis und Generierung liegen nahezu orthogonal zueinander (cos ≈ 0) und weisen ein starkes Größenungleichgewicht auf – etwa 11 bis 14‑mal größer bei der Generierung. Dieses Ungleichgewicht entsteht durch die asymmetrische Tokenanzahl der VQ‑Kodierung (576 Tokens für Bilder vs. ca. 30–100 Tokens für Text). Das führt zu einer dominanten Interferenz im mehr‑Aufgaben‑DPO‑Setting.

Durch eine gezielte Ausbalancierung der Gradientenmagni­tuden konnten leichte Verbesserungen beim Verständnis erzielt werden (Δ + 0,01–0,04 VQA), jedoch blieb die Generierungsleistung unverändert. Die Untersuchung deutet darauf hin, dass die diskrete VQ‑Tokenisierung ein strukturelles Engpass ist – unterstützt durch die Konvergenz des DPO‑Verlustes auf ln(2). Praktische Empfehlungen für Entwickler von VQ‑basierten einheitlichen Modellen werden in der Studie vorgestellt.