Diffusions-LLMs meistern Mehrschritt-Logik dank Plan-Bedingung

Ein neues arXiv-Papier (2603.13243v1) zeigt, dass Diffusions‑Large‑Language‑Models (dLLMs) bei mehrstufigen Logikaufgaben hinter autoregressiven Modellen zurückbleiben. Die Autoren vermuten, dass das Problem in einer Koordinationsschwierigkeit liegt: AR‑Modelle bauen ihre Kohärenz tokenweise auf, während Diffusionsmodelle alle Positionen gleichzeitig abstimmen müssen.

Um dieses Problem zu lösen, schlagen die Forscher die „Plan‑Conditioning“-Methode vor. Dabei wird ein kurzer, etwa 100‑Token‑langer, natürlicher Sprachplan – erzeugt von einem AR‑Modell – dem Prompt des Diffusionsmodells vorangestellt. Der Plan fungiert als feste, globale Struktur, auf die jede Token‑Position von der ersten Denoising‑Stufe an zugreifen kann.

Die Ergebnisse sind beeindruckend. Auf dem GSM8K‑Datensatz steigt die Genauigkeit von LLaDA‑8B‑Instruct von 75,6 % auf 87,2 % (+11,6 pp), was dem gleichgroßen AR‑Modell LLaMA 3.1 8B (87,7 %) entspricht, obwohl die Ausgangsbasis deutlich schwächer war. Auf HumanEval verbessert sich die Leistung um 12,8 pp (von 37,2 % auf 50,0 %), was zeigt, dass die Pläne auch für Code‑Generierung funktionieren.

Interessanterweise profitieren reine AR‑Modelle wie LLaMA nur um 5,7 pp auf GSM8K und um 1,3 pp auf HumanEval von denselben Plänen – Diffusionsmodelle profitieren 2‑10 mal stärker, was die Koordinations‑Hypothese weiter untermauert.

Die Stabilität der Methode ist bemerkenswert: Bei fünf zufälligen Seeds erreicht die plan‑bedingte Genauigkeit auf GSM8K eine Standardabweichung von null, was die Konsistenz der Diffusionsinferenz unterstreicht.

Durch Ablation‑Studien wurde gezeigt, dass das Modell dem Plan folgt – falsche Strategien führen zu einem Rückgang von 16,3 pp, während die genauen Werte des Plans nur minimal Einfluss haben (–1,1 pp bei Störungen). Die Qualität des Planers ist entscheidend: kleinere Llama‑Klassen‑Pläne schaden (-1,6 – 6,8 pp), während hochqualitative Pläne die volle Leistungssteigerung liefern.

Eine Analyse der Aufmerksamkeitsverteilung bestätigt den Mechanismus: Plan‑Tokens erhalten in den frühen Denoising‑Schritten 1,8‑mal mehr Aufmerksamkeit, was die zentrale Rolle des Plans bei der Koordination aller Token unterstreicht.