Dynamische Schwellenwerte beschleunigen Diffusions‑Sprachmodelle

Maskierte Diffusions‑Sprachmodelle (MDLMs) kommen immer näher an die Leistung ihrer autoregressiven Gegenstücke, doch sie nutzen meist feste Decodierungsschritte und sequentielles Unmaskieren. Um die Geschwindigkeit zu erhöhen, hat Fast‑dLLM einen statischen globalen Vertrauensschwellenwert eingeführt, der jedoch starke Schwankungen in Block- und Schritt‑Weise aufweist und innerhalb eines Datensatzes nahezu identische Vertrauenskurven für verschiedene Eingaben erzeugt.

Aus diesen Beobachtungen heraus wurde One‑Shot Dynamic Thresholding (OSDT) entwickelt. OSDT kalibriert die Schwellenwerte anhand einer einzigen Sequenz und wendet sie anschließend auf weitere Eingaben an – ohne nennenswerten Overhead. Auf den Benchmark‑Sätzen GPQA, GSM8K und HumanEval erzielt OSDT deutlich bessere Genauigkeits‑Durchsatz‑Verhältnisse: +24 % Tokens pro Sekunde bei GSM8K bei optimaler Genauigkeit, +45 % bei GPQA mit vergleichbarer Genauigkeit und +50 % bei HumanEval mit nur geringem Genauigkeitsverlust.

Die Ergebnisse zeigen, dass wiederverwendbare, aufgabenbezogene Vertrauenssignaturen ein vielversprechendes Potenzial für generelle algorithmische und systemische Innovationen im Diffusions‑Decodieren bieten. OSDT demonstriert, wie dynamische Schwellenwerte die Effizienz von Diffusions‑Sprachmodellen nachhaltig steigern können.