Transformer-Modelle meistern DDPM-Denoiser für Multi-Token-GMMs

In einer wegweisenden Studie zeigen Forscher erstmals, warum Transformer-basierte Diffusionsmodelle so erfolgreich sind. Durch eine gründliche Konvergenzanalyse wird erklärt, wie diese Modelle das optimale Denoiser‑Verhalten für Daten mit Multi‑Token‑Gaussian‑Mixture‑Distributionen erlernen.

Die Autoren untersuchen das Population‑DDPM‑Ziel, das bei der Rauschunterdrückung die Score‑Funktion der Trainingsdaten nutzt. Sie bestimmen exakt, wie viele Tokens pro Datenpunkt und wie viele Trainingsschritte nötig sind, um global zum Bayes‑optimalen Risiko zu konvergieren und dabei die gewünschte Score‑Matching‑Genauigkeit zu erreichen.

Ein besonders spannender Befund ist, dass das Self‑Attention‑Modul des Transformers im Endzustand eine Mittelwert‑Denoising‑Mechanik implementiert. Diese ermöglicht es dem Modell, den optimalen Minimum‑Mean‑Squared‑Error‑Estimator (MMSE) für das injizierte Rauschen in den Diffusionsschritten zu approximieren.

Numerische Experimente bestätigen die theoretischen Erkenntnisse und zeigen, dass Transformer‑Diffusionsmodelle nicht nur praktisch, sondern auch theoretisch fundiert die Grenzen der Rauschunterdrückung erweitern.