Score Matching liefert effizienten Schätzer für lokale intrinsische Dimension

Die lokale intrinsische Dimension (LID) ist ein zentrales Konzept in Signalverarbeitung und Lerntheorie, doch ihre Bestimmung bei hochdimensionalen, komplexen Daten bleibt schwierig. Neuere Studien zeigen, dass Diffusionsmodelle die LID über die Spektren ihrer Score-Schätzungen und die Änderungsrate ihrer Dichteabschätzungen bei unterschiedlichen Rauschstufen erfassen können. Diese Verfahren erfordern jedoch viele Vorwärtsdurchläufe oder Gradientenauswertungen, was sie in ressourcenbeschränkten Umgebungen unpraktisch macht.

In der vorliegenden Arbeit wird gezeigt, dass die LID ein unteres Schrankenmaß für den Denoising-Score-Matching-Verlust darstellt. Daraus folgt, dass der Denoising-Score-Matching-Verlust selbst als LID-Schätzer genutzt werden kann. Zusätzlich wird demonstriert, dass der äquivalente implizite Score-Matching-Verlust die LID über die normale Dimension annähert und eng mit dem jüngsten LID-Schätzer FLIPD verknüpft ist.

Experimentelle Ergebnisse auf einem Manifold-Benchmark sowie mit Stable Diffusion 3.5 belegen, dass der Denoising-Score-Matching-Verlust ein hochgradig konkurrenzfähiger und skalierbarer LID-Schätzer ist. Er liefert überlegene Genauigkeit und einen deutlich geringeren Speicherbedarf, insbesondere bei zunehmender Problemgröße und höherer Quantisierung.