Diffusionsmodelle generieren neue Daten dank geometrischer Manifold-Analyse

In jüngster Forschung wurde gezeigt, dass Diffusionsmodelle trotz grob geschätzter Scores erstaunlich neue Proben erzeugen können. Dieses Phänomen lässt sich durch die Manifold‑Hypothese erklären: Die Scores erfassen die geometrische Struktur der Daten, während sie die feine Verteilung der Population vernachlässigen.

Traditionell erfordert die Schätzung der vollständigen Datenverteilung auf einer k‑dimensionalen Mannigfaltigkeit einen minimax‑Rate von etwa N-1/k. Die Autoren beweisen jedoch, dass Diffusionsmodelle mit groben Scores die Regularität der Mannigfaltigkeit ausnutzen und eine nahezu parametrierbare Rate für eine andere Zielverteilung erreichen.

Diese Zielverteilung besitzt eine Dichte, die in jeder N-β/(4k)-Nachbarschaft der Mannigfaltigkeit im Vergleich zur eigentlichen Datenverteilung gleichmäßig vergleichbar ist – wobei β die Glattheit der Mannigfaltigkeit beschreibt.

Die theoretischen Garantien hängen ausschließlich von der Glattheit der zugrunde liegenden Unterstützung ab und sind besonders vorteilhaft, wenn die Datenverteilung selbst unregelmäßig oder sogar nicht differenzierbar ist.

Insbesondere bei einer ausreichend glatten Mannigfaltigkeit führt diese Analyse zu einer schnelleren Generalisierungsrate, was bedeutet, dass die Modelle in der Lage sind, hochqualitative neue Proben zu generieren – schneller als bei herkömmlichen Ansätzen, die die gesamte Verteilung exakt schätzen müssten.