CLD: Schnell und effizient – Coreset‑Auswahl aus Verlusttrajektorien
Deep‑Learning‑Modelle liefern Spitzenleistungen, doch ihre Skalierbarkeit bleibt ein Problem, wenn Echtzeit‑ oder ressourcenbeschränkte Anwendungen gefragt sind. Mit der neuen Methode Correlation of Loss Differences (CLD) wird dieses Hindernis überwunden: CLD wählt die wichtigsten Trainingsbeispiele aus, indem es die Übereinstimmung ihrer Verlustwerte mit den Verlusttrajektorien eines separaten Validierungssets misst.
Der Ansatz ist extrem effizient. Er benötigt lediglich die pro‑Beispiel‑Verlustwerte, die bei üblichen Trainings‑Checkpoints berechnet werden, und verzichtet komplett auf aufwändige Gradient‑ oder Krümmungsberechnungen, die bei vielen bestehenden Subset‑Selection‑Methoden erforderlich sind. Dadurch spart CLD erheblich Rechenzeit, ohne an Genauigkeit einzubüßen.
Ein theoretisches Rahmenwerk liefert Konvergenzgarantien: Der Fehler bei der Modellschulung ist durch die Ausrichtung der ausgewählten Beispiele und die Repräsentativität des Validierungssets begrenzt. In Experimenten auf CIFAR‑100 und ImageNet‑1k übertrifft CLD häufig die besten bestehenden Verfahren oder liegt nur knapp daneben – und das bei deutlich geringerer Rechenlast.
CLD funktioniert zuverlässig über verschiedene Architekturen hinweg (ResNet, VGG, DenseNet) und ermöglicht eine effektive „Proxy‑zu‑Target“-Auswahl mit weniger als 1 % Genauigkeitsverlust. Selbst bei Verwendung nur früher Checkpoints bleibt die Leistung stabil, und die Methode reduziert systematisch Verzerrungen durch pro‑Klasse‑Validierungs‑Alignment, sodass zusätzliche stratifizierte Stichproben nicht nötig sind.
Insgesamt bietet CLD ein robustes, stabiles und übertragbares Werkzeug für die effiziente Auswahl von Coresets – ein entscheidender Schritt, um Deep‑Learning‑Modelle in ressourcenbeschränkten und Echtzeit‑Umgebungen einzusetzen.