Neue Sampling-Strategie steigert Vielfalt bei Diffusions-Sprachmodellen

In einer kürzlich veröffentlichten Studie haben Forscher einen Ansatz vorgestellt, der die Vielfalt der Ausgaben von Diffusions-Sprachmodellen (dLLMs) deutlich erhöht – und das ohne Einbußen bei Geschwindigkeit oder Qualität. Durch die Anwendung von „weicheren“ und temperierten Versionen bekannter, auf Konfidenz basierender Remasking-Heuristiken gelingt es, die Rechenleistung beizubehalten und gleichzeitig die Streuung der generierten Texte zu vergrößern.

Der Kern des Ansatzes liegt in der gezielten Modifikation der Remasking-Regeln. Anstatt die ursprünglichen, harten Schwellenwerte zu verwenden, werden sie sanft abgemildert und mit einem Temperaturschritt versehen. Diese Anpassung bewahrt die Effizienz der klassischen Heuristiken, während sie die Wahrscheinlichkeit erhöht, dass unterschiedliche „Zweig“-Token (Fork Tokens) in den generierten Sequenzen auftreten.

Um die Wirkung dieser Modifikationen zu quantifizieren, entwickelte das Team ein idealisiertes Formalmodell für Fork Tokens und untersuchte, wie Remasking die erwartete Entropie an diesen Punkten beeinflusst. Die experimentellen Ergebnisse zeigen, dass die temperierten Heuristiken die Lücke im Exploration‑Gap (pass@k) zwischen herkömmlichen, konfidenz‑basierten und autoregressiven Sampling‑Methoden schließen. Im Vergleich dazu übertreffen sie beide Ansätze sogar bei gleicher Kostenkontrolle (pass@NFE), was die Effektivität des Ansatzes unterstreicht.

Darüber hinaus wurde analysiert, wie die gesteigerte Vielfalt die Leistung in nachgelagerten Aufgaben – etwa beim Post‑Training oder bei der Skalierung von Test‑Time-Computing – verbessert. Die Studie demonstriert, dass ein einfacher, effizienter und zugleich vielfältiger Sampling-Ansatz für Diffusions-Sprachmodelle realisierbar ist und damit neue Möglichkeiten für die praktische Anwendung dieser Modelle eröffnet.