VarDiU: Neue Methode verbessert ein‑Schritt Diffusionsdistillation
Die neueste Veröffentlichung auf arXiv (2508.20646v1) stellt VarDiU vor – eine Variational Diffusive Upper Bound, die die Qualität von ein‑Schritt Diffusionsgeneratoren deutlich steigert. Durch die Kompression von tausenden Schritten eines Lehrmodells in einen einzigen Student-Generator bleibt die Bildqualität erhalten, während die Trainingszeit drastisch reduziert wird.
Aktuelle Distillationsansätze nutzen einen diffusen Divergenzterm, dessen Gradient über die Score‑Funktion des Studenten geschätzt wird. Diese Score‑Funktion wird mit Denoising Score Matching (DSM) gelernt, was jedoch zu einer systematischen Verzerrung der Gradienten führt und die Leistung begrenzt. VarDiU löst dieses Problem, indem es einen unverzerrten Gradientenestimator liefert, der direkt in die Distillation integriert werden kann.
In Vergleichsstudien mit dem etablierten Diff‑Instruct‑Modell zeigt VarDiU eine höhere Bildqualität und ermöglicht ein stabileres, effizienteres Training. Die Methode eröffnet damit neue Perspektiven für die schnelle Entwicklung hochqualitativer Diffusionsgeneratoren.