Vortrainieren zahlt sich aus: Robustes Lernen ohne saubere Labels
Forscher haben gezeigt, dass ein vortrainierter Feature‑Extractor, der mit selbstüberwachtem Lernen (SSL) ohne Labels trainiert wird, anschließend in einem klassischen Supervised‑Training auf verrauschten Datensätzen zu deutlich robusteren Modellen führt – und das ohne einen sauberen Datensubset.
Das Problem von verrauschten Labels ist, dass tiefe Netzwerke leicht überfitten und die Generalisierung stark leidet. Bisherige Ansätze zur Fehler‑robusten Lernmethoden setzen häufig auf ein kleines, sauber annotiertes Teilset, was in vielen realen Szenarien nicht verfügbar ist.
Die neue Methode nutzt SSL‑Techniken wie SimCLR und Barlow Twins, um die Basisarchitektur zunächst ohne Labels zu trainieren. Danach wird das Modell mit dem verrauschten Datensatz in einem herkömmlichen Supervised‑Training weiterentwickelt.
Auf den Datensätzen CIFAR‑10 und CIFAR‑100, sowohl mit synthetischem als auch mit realem Rauschen, zeigte sich, dass die SSL‑Vortrainierung die Klassifikationsgenauigkeit konsequent steigert und die Erkennung von fehlerhaften Labels (F1‑Score und Balanced Accuracy) verbessert – und das bei allen Rauschraten.
Der Leistungsunterschied wird mit steigender Rauschrate immer größer, was die erhöhte Robustheit unterstreicht. Bei niedrigen Rauschraten erreicht die Methode Ergebnisse, die mit ImageNet‑vortrainierten Modellen vergleichbar sind, während sie bei hohen Rauschraten deutlich besser abschneidet.
Diese Erkenntnisse bieten einen praktischen Ansatz, um tiefe Netzwerke in Umgebungen mit verrauschten Labels zu trainieren, ohne auf saubere Daten angewiesen zu sein.