Neuer Momentum-Ansatz beschleunigt Training und diagnostiziert Fehler

In der klassischen Praxis von neuronalen Netzen wird häufig ein konstanter Momentumwert von 0,9 eingesetzt – ein Standard, der seit 1964 besteht, aber kaum theoretische Begründung für seine optimale Wahl bietet. Forscher haben nun einen dynamischen Momentumplan entwickelt, der sich aus dem kritisch gedämpften harmonischen Oszillator ableitet: mu(t) = 1 - 2·sqrt(alpha(t)), wobei alpha(t) die aktuelle Lernrate darstellt. Der Plan benötigt keine zusätzlichen Parameter, sondern nutzt lediglich die bestehende Lernrate.

Bei Tests mit ResNet‑18 auf dem CIFAR‑10-Datensatz führt dieser „Beta‑Scheduling“-Ansatz zu einer 1,9‑fach schnelleren Konvergenz auf 90 % Genauigkeit im Vergleich zum herkömmlichen konstanten Momentum. Noch bemerkenswerter ist die diagnostische Kraft des Ansatzes: Durch die Analyse der Gradientenverteilung pro Schicht werden drei problematische Schichten identifiziert, die unabhängig vom Optimierer – sei es SGD oder Adam – dieselben sind. Eine gezielte Korrektur dieser Schichten behebt 62 von 100 Fehlklassifikationen, während lediglich 18 % der Parameter neu trainiert werden müssen.

Ein hybrider Plan, der zunächst das physikalische Momentum für einen schnellen Anfang nutzt und anschließend auf konstanter Momentum für die Endphase umschaltet, erzielt die höchste Genauigkeit von 95 % in kürzester Zeit unter den fünf getesteten Methoden. Das Hauptziel dieser Arbeit ist nicht die reine Genauigkeitssteigerung, sondern die Bereitstellung eines parameter‑freien, prinzipiell fundierten Werkzeugs zur Lokalisierung und Behebung spezifischer Fehlerquellen in bereits trainierten Netzwerken.