Schnellere Diffusion auf Blackwell: MXFP8 & NVFP4 mit Diffusers und TorchAO

Diffusionsmodelle für Bild- und Videogenerierung erfreuen sich wachsender Beliebtheit, weil sie extrem realistische Medien liefern. Ihre Verbreitung bleibt jedoch oft durch enorme Speicher- und Rechenanforderungen begrenzt.

Mit der Einführung der Blackwell-Architektur bringt NVIDIA neue Tensor‑Kerne – MXFP8 und NVFP4 – die speziell für die Beschleunigung von Diffusionsalgorithmen entwickelt wurden. Diese Kerne ermöglichen eine deutlich höhere Parallelität und Effizienz bei der Verarbeitung großer Matrizen, die in Diffusionsmodellen üblich sind.

Entwickler können die leistungsstarken Funktionen von Blackwell nahtlos in die weit verbreitete Diffusers‑Bibliothek von Hugging Face und das TorchAO‑Framework von PyTorch integrieren. Durch die Kombination dieser Software‑ und Hardware‑Innovation lassen sich sowohl Trainings- als auch Inferenzzeiten erheblich verkürzen, während gleichzeitig der Speicherbedarf reduziert wird.

Das Ergebnis ist eine schnellere, ressourcenschonendere Generierung von Bildern und Videos, die es ermöglicht, komplexe Diffusionsmodelle in Echtzeit oder in kleineren Rechenumgebungen einzusetzen. Diese Fortschritte ebnen den Weg für eine breitere Akzeptanz von Diffusionsmodellen in Forschung, Industrie und kreativen Anwendungen.