DualDiffusion: Neue Spekulationstechnologie beschleunigt Masked Diffusion Modelle

Maskierte Diffusionsmodelle (MDMs) stellen eine vielversprechende Alternative zu autoregressiven Sprachmodellen dar, indem sie die gleichzeitige Token‑Erzeugung und bidirektionale Kontextmodellierung ermöglichen. Ihre Geschwindigkeit bleibt jedoch stark eingeschränkt, weil bidirektionale Aufmerksamkeitsmechanismen das Caching von Schlüssel‑Wert‑Paaren verhindern und bei jedem Schritt $O(N^2)$ Berechnungen erfordern.

Aktuelle Ansätze wie FastDLLM und DkvCache erhöhen die Geschwindigkeit durch Aufmerksamkeitsapproximationen und Caching, jedoch zu Lasten der Generierungsqualität. Mit DualDiffusion wird ein neues spekulatives Decodierungsframework vorgestellt, das schnelle „Drafter“-Modelle mit effizienten Approximationen mit langsameren, aber präziseren „Verifier“-Modellen kombiniert.

Durch mehrere Schritte eines leichtgewichtigen Drafters, gefolgt von einer einzigen Verifikationsstufe, erreicht DualDiffusion eine überlegene Pareto‑Grenze zwischen Generierungsschritten und Genauigkeit. In Tests auf MMLU und GSM8K bleibt die Genauigkeit hoch, während die benötigten Generierungsschritte deutlich reduziert werden – ein klarer Fortschritt im Qualitäts‑Effizienz‑Trade‑off für maskierte Diffusions‑Sprachmodelle.