NOVAK: Neuer, leistungsstarker Optimierer für tiefe neuronale Netze

Die neueste Veröffentlichung auf arXiv stellt NOVAK vor – einen modularen, gradientsbasierten Optimierer, der adaptive Momentenschätzung, korrigierte Lernratenplanung, entkoppelte Gewichtungsregularisierung, verschiedene Varianten des Nesterov‑Momentum und Lookahead‑Synchronisation in einem einheitlichen, leistungsorientierten Rahmen vereint.

NOVAK nutzt eine Dual‑Mode‑Architektur: ein schlanker, schneller Produktionspfad kombiniert mit maßgeschneiderten CUDA‑Kernen, die kritische Operationen um das 3‑ bis 5‑fache beschleunigen, ohne die numerische Stabilität zu gefährden. Die Autoren liefern vollständige mathematische Formulierungen für die rectifizierten Lernraten, einen speichereffizienten Lookahead‑Mechanismus, der den Overhead von O(2p) auf O(p + p/k) reduziert, sowie die synergetische Kopplung der einzelnen Optimierungskomponenten.

Eine theoretische Analyse bestätigt Konvergenzgarantien und erklärt die Stabilitäts- und Varianzreduktionseigenschaften des Ansatzes. In umfangreichen Experimenten – auf CIFAR‑10, CIFAR‑100, ImageNet und ImageNette – übertrifft NOVAK 14 aktuelle Optimierer, darunter Adam, AdamW, RAdam, Lion und Adan. Für Architekturen wie ResNet‑50, VGG‑16 und ViT erzielt NOVAK konsequent erstklassige Genauigkeiten und zeigt außergewöhnliche Robustheit, insbesondere bei VGG‑16/ImageNette.

Die Ergebnisse unterstreichen, dass NOVAKs architektonische Innovationen – insbesondere die Lernratenrectifikation, die Entkopplung von Regularisierung und die Lookahead‑Synchronisation – entscheidend zur verbesserten Leistung beitragen und damit einen neuen Standard für die Optimierung tiefer neuronaler Netze setzen.