Diffusions-LLMs: Datensatzmetriken verbergen nicht-deterministisches Verhalten

Diffusionsbasierte Sprachmodelle (DLMs) gelten als vielversprechender Ansatz für große Sprachmodelle, doch ihr nicht-deterministisches Verhalten bleibt bislang wenig erforscht. Die meisten bisherigen Untersuchungen messen die Stabilität ausschließlich über Datensatz‑Level‑Metriken bei festgelegten Inferenz‑Konfigurationen, was nur begrenzte Einblicke in die Lauf‑zu‑Lauf‑Variabilität bietet.

In der vorliegenden Studie wird gezeigt, dass solche aggregierten Metriken das nicht-deterministische Verhalten systematisch abschwächen. Modelle, die auf dem Datensatz ähnlich gut abschneiden, können bei einzelnen Eingaben völlig unterschiedliche Ergebnisse liefern – ein Phänomen, das bislang unbemerkt blieb.

Um dieses Problem zu adressieren, führen die Autoren eine feingranulare Analyse durch, die die Unterschiede in den Vorhersagen auf Sample‑Ebene untersucht. Dabei werden sowohl modellbezogene Faktoren (wie Guidance‑Skala, Diffusion‑Schritte und Monte‑Carlo‑Sampling) als auch systembezogene Faktoren (Batch‑Größe, Hardware und numerische Präzision) variiert.

Die Analyse zeigt, dass Nicht‑Determinismus bei DLMs allgegenwärtig und strukturiert ist. Besonders Code‑Generierung reagiert empfindlicher auf die einzelnen Faktoren als Frage‑Antwort‑Aufgaben. Zur Attribution der Ursachen stellen die Autoren das neue Metric „Factor Variance Attribution“ (FVA) vor, das die beobachtete Instabilität in die jeweiligen Einflussfaktoren zerlegt.