Diffusionsmodelle: Dekomposition, Krümmung, Komplexität auf Mannigfaltigkeiten

Diffusionsmodelle haben sich als führendes Werkzeug im generativen Modellieren etabliert, doch ihr theoretisches Fundament bleibt für hochdimensionale Daten, die auf niedrigdimensionalen Strukturen liegen, noch unvollständig. In einer neuen Studie wird untersucht, wie Diffusionsmodelle genau solche strukturierten Daten erlernen, wobei der Fokus auf der statistischen Komplexität und dem Einfluss geometrischer Eigenschaften liegt.

Die Autoren modellieren die Daten als Stichproben aus einer glatten Riemannschen Mannigfaltigkeit und zeigen, wie sich die Score-Funktion – das zentrale Element eines Diffusionsmodells – bei unterschiedlichen Rauschstufen in entscheidende Komponenten zerlegt. Besonders hervorzuheben ist die Wechselwirkung zwischen der Krümmung der Mannigfaltigkeit und der Struktur der Score-Funktion, die neue Einsichten in die Funktionsweise von Diffusionsmodellen liefert.

Auf Basis dieser Analysen wird ein effizienter neuronaler Ansatz zur Approximation der Score-Funktion entwickelt. Damit können die Autoren statistische Konvergenzraten für die Score-Schätzung und die Verteilungslernen ableiten. Die Resultate zeigen, dass die Raten ausschließlich von der intrinsischen Dimension der Daten und der Krümmung der Mannigfaltigkeit abhängen.

Diese Erkenntnisse stärken die statistische Basis von Diffusionsmodellen und schaffen eine Brücke zwischen theoretischer Analyse und praktischer Anwendung bei generativen Modellen auf Mannigfaltigkeiten.