Initial Bias in Deep Networks: Wie Verlustfunktionen die Lernphase beeinflussen

Untrainierte, große neuronale Netzwerke zeigen unmittelbar nach der zufälligen Initialisierung ein starkes Vorzeichen: Sie bevorzugen ein kleines Subset an Klassen und weisen diesen Klassen hohe Vorhersagewahrscheinlichkeiten zu, während alle anderen Klassen nahezu null erhalten. Dieses Phänomen, das als Initial Guessing Bias bezeichnet wird, wirkt sich bereits in der allerersten Lernphase aus, wenn das Modell die grobe Struktur der Daten erfasst.

Der gewählte Verlustfunktionstyp hat einen enormen Einfluss darauf, wie sich diese frühen Dynamiken entwickeln. Zwei neuere Verlustfunktionen – Blurry und Piecewise‑Zero – wurden speziell für die Robustheit gegen fehlerhafte Labels entwickelt. In Experimenten zeigte sich jedoch, dass sie bei starkem Initial Guessing Bias ihre Fähigkeit verlieren, die Lernrichtung gezielt zu steuern.

Die Ergebnisse verdeutlichen, dass die Wahl der Verlustfunktion die frühe Trainingsphase von Deep‑Netzwerken dramatisch beeinflusst. Sie unterstreichen die Notwendigkeit, den Initial Guessing Bias sorgfältig in die Gestaltung des gesamten Trainingsschemes einzubeziehen, um stabile und effiziente Lernprozesse zu gewährleisten.