Latent-DARM: Diffusion trifft autoregressive Modelle – besseres Denken

In einer neuen Studie auf arXiv (2603.09184v1) wird ein innovatives System namens Latent-DARM vorgestellt, das die Stärken von diskreten Diffusionsmodellen (DDLMs) und autoregressiven Sprachmodellen (ARMs) kombiniert. Während ARMs für flüssige Textgenerierung bekannt sind, beschränken sie die globale Planung und die Möglichkeit, bereits erstellte Texte zu überarbeiten. DDLMs hingegen ermöglichen nicht-sequenzielle, global überarbeitbare Generationen und zeigen starke Planungsfähigkeiten, jedoch fehlt ihnen die Textflüssigkeit, die ARMs bieten.

Latent-DARM schafft eine latente Kommunikationsplattform, die DDLMs als Planer und ARMs als Ausführende zusammenführt. Durch diese Brücke können die beiden Modelltypen ihre jeweiligen Vorteile optimal nutzen. Auf einer Vielzahl von mathematischen, wissenschaftlichen und Alltagswissen-Tests übertrifft Latent-DARM die reine Textschnittstelle im Durchschnitt, indem es die Genauigkeit bei DART‑5 von 27,0 % auf 36,0 % steigert und bei AIME2024 von 0,0 % auf 14,0 % erhöht.

Das System erreicht Ergebnisse, die denen führender Rechenmodelle nahekommen, während es weniger als 2,2 % des Token-Budgets verbraucht. Damit demonstriert Latent-DARM, dass heterogene Agenten, die unterschiedliche Modelltypen nutzen, effektiv zusammenarbeiten können. Diese Fortschritte markieren einen bedeutenden Schritt in der Entwicklung von Multi‑Agenten-Systemen, die sowohl präzise Planung als auch flüssige Textgenerierung erfordern.