Neue Optimierer IAGD und NRSGD beschleunigen Gradient Descent

Ein neuer Beitrag auf arXiv (2510.13040v1) stellt zwei innovative Optimierer vor, die das klassische Stochastic Gradient Descent (SGD) deutlich verbessern. Der Interpolational Accelerating Gradient Descent (IAGD) nutzt eine zweite‑Ordnung‑Newton‑Interpolation, um die Konvergenz während des Trainings zu beschleunigen, indem er die Relevanz der Gradienten zwischen aufeinanderfolgenden Iterationen ausnutzt.

Der Noise‑Regularized Stochastic Gradient Descent (NRSGD) ergänzt das Verfahren um eine gezielte Rauschregularisierung. Durch das Einführen kontrollierten Rauschens in die Gradienten wird Over‑Fitting reduziert und die Stabilität des Lernprozesses erhöht.

Die Autoren haben die beiden neuen Optimierer anhand von Experimenten mit den Datensätzen CIFAR‑10 und CIFAR‑100 getestet. Verschiedene Convolutional Neural Networks (CNNs) wurden in der Keras‑Umgebung trainiert, wobei IAGD und NRSGD gegen klassische Optimierer verglichen wurden. Die Ergebnisse zeigen, dass beide Ansätze die Leistung von SGD signifikant steigern und damit vielversprechende Fortschritte für die Praxis der maschinellen Lernoptimierung darstellen.