Reinforcement Learning optimiert Diffusions-LLMs: Entropie-gesteuerte Schritte & Vorteile

Forscher haben einen neuen Ansatz entwickelt, mit dem Reinforcement Learning (RL) die Leistung von Diffusions-Sprachmodellen (DLMs) deutlich steigert. Während RL bereits bei autoregressiven Modellen Erfolge erzielte, erschwert die Unberechenbarkeit der sequentiellen Likelihoods die Anwendung bei DLMs. Der neue Ansatz formuliert die Generierung von Texten als endlicher Markov-Entscheidungsprozess entlang der Denoising‑Trajektorie und liefert einen exakten, unverzerrten Policy‑Gradient, der sich über die einzelnen Denoising‑Schritte aufteilt.

Um die Berechnung praktisch und ressourcenschonend zu gestalten, wählt das Verfahren die zu aktualisierenden Denoising‑Schritte mithilfe einer entropie‑gesteuerten Approximation. Gleichzeitig werden die Zwischenvorteile (Intermediate Advantages) aus dem ein‑Schritt‑Denoising‑Reward des Diffusionsmodells geschätzt, wodurch auf aufwendige Mehrschritt‑Rollouts verzichtet wird. Diese Kombination führt zu einem effizienten und skalierbaren RL‑Estimator.

In umfangreichen Tests auf Coding‑ und Logik‑Reasoning‑Benchmarks erzielte der Ansatz neue Bestleistungen. Besonders im mathematischen Reasoning übertraf er bestehende RL‑Post‑Training‑Methoden für DLMs deutlich. Der komplette Code ist auf GitHub verfügbar und ermöglicht Forschern und Entwicklern, die Technik sofort in eigenen Projekten einzusetzen.