Framework senkt Rechenaufwand für dezentrale Diffusionsmodelle um 16‑fach

Die Entwicklung von Diffusionsmodellen in der Größenordnung von Millionen von Parametern erfordert bislang enorme Rechenressourcen, die meist nur in hochgradig vernetzten Clustern verfügbar sind. Dezentrale Diffusionsmodelle (DDM) haben gezeigt, dass mehrere Experten unabhängig voneinander trainiert werden können, doch bisher waren dafür immer noch 1 176 GPU‑Tage und ein homogenes Trainingsziel nötig. Das neue Framework aus dem arXiv‑Pape 2603.06741v1 reduziert diese Anforderungen drastisch: Der Rechenaufwand sinkt von 1 176 auf nur 72 GPU‑Tage – ein 16‑facher Einsparung – und die benötigten Datenmenge schrumpft von 158 M auf 11 M – ein 14‑facher Reduktionsfaktor.

Der Ansatz basiert auf drei Kerninnovationen. Erstens ermöglicht ein heterogenes dezentrales Trainingsparadigma, dass Experten unterschiedliche Ziele verfolgen können – DDPM und Flow Matching – und diese erst im Inferenzmodus über eine deterministische, zeitplan‑bewusste Umwandlung in einen gemeinsamen Geschwindigkeitsraum zusammengeführt werden, ohne dass ein erneutes Training nötig ist. Zweitens wird ein vortrainierter Checkpoint von ImageNet‑DDPM in Flow‑Matching‑Ziele konvertiert, was die Konvergenz beschleunigt und die Notwendigkeit objektivspezifischer Vortrainings eliminiert. Drittens nutzt das Modell die effiziente AdaLN‑Single‑Architektur von PixArt‑Alpha, die die Parameterzahl reduziert, ohne die Bildqualität zu beeinträchtigen.

In Experimenten auf dem LAION‑Aesthetics‑Datensatz zeigte sich, dass die heterogene Konfiguration 2DDPM:6FM unter ausgerichteten Inferenzbedingungen ein besseres FID‑Ergebnis von 11,88 (gegenüber 12,45 bei einem homogenen 8FM‑Baseline) erzielt und die intra‑Prompt‑Diversity (LPIPS) mit 0,631 gegenüber 0,617 steigert. Diese Verbesserungen kommen ohne zusätzliche Synchronisationsanforderungen und ermöglichen die gleichzeitige Nutzung von DDPM‑ und Flow‑Matching‑Zielen.

Das Ergebnis ist ein deutlich demokratisierter Trainingsprozess, der auch Forschungseinrichtungen mit begrenzten Ressourcen den Zugang zu frontier‑scale Diffusionsmodellen eröffnet. Durch die Kombination von heterogenen Trainingszielen, effizienter Architektur und cleverer Checkpoint‑Konvertierung wird die Entwicklung leistungsfähiger Modelle schneller, kostengünstiger und flexibler als je zuvor.