Diffusionsmodelle: Zielgerichtetes Auslöschen von Daten verbessert Qualität
In der Forschung zum „Data Unlearning“ geht es darum, den Einfluss einzelner Trainingsdaten aus einem bereits trainierten Modell zu entfernen, ohne das gesamte Modell neu zu trainieren. Bei Diffusionsmodellen ist dieser Ansatz bislang wenig untersucht und führt häufig zu Qualitätsverlusten oder unvollständigem Vergessen.
Die neue Studie zeigt, dass die meisten bisherigen Methoden versuchen, die Daten über alle Diffusionszeitpunkte hinweg gleichmäßig zu löschen. Dadurch entsteht eine schlechte Bildqualität. Stattdessen wird argumentiert, dass das Vergessen je nach Modell und Anwendungsfall ungleichmäßig über Zeit und Frequenz verteilt ist.
Durch gezielte Auswahl bestimmter Zeit‑ und Frequenzbereiche während des Trainings konnten die Autoren Modelle erzeugen, die ästhetisch hochwertiger und weniger verrauscht sind. Die Methode wurde erfolgreich in verschiedenen Szenarien getestet, darunter gradientenbasierte und Präferenzoptimierung sowie Bild‑ und Text‑zu‑Bild-Aufgaben.
Zur Bewertung von Löschung und Bildqualität wurde ein einfaches, normiertes SSCD‑Verfahren vorgeschlagen. Die Ergebnisse verdeutlichen die besonderen Herausforderungen beim Data Unlearning in Diffusionsmodellen und liefern praktikable Strategien zur Verbesserung von Evaluation und Auslöschen.