CLion: Neuer Optimierer mit verbesserter Generalisierung

Der neu veröffentlichte Optimierer CLion (Cautious Lion) bringt die Lernalgorithmen der KI-Welt einen Schritt weiter. Durch die gezielte Nutzung einer „vorsichtigen“ Signfunktion erreicht CLion eine deutlich bessere Generalisierung als der inzwischen sehr populäre Lion-Optimierer.

Der Lion-Optimierer hat sich in vielen Deep‑Learning‑Modellen als äußerst leistungsfähig erwiesen, jedoch fehlte bislang eine theoretische Analyse seiner Generalisierungsfähigkeit. In einer kürzlich erschienenen Studie wurde diese Lücke geschlossen: Für Lion wurde gezeigt, dass der Generalisierungsfehler in der Größenordnung O(1/(N τ^T)) liegt, wobei N die Trainingsstichprobengröße, τ die kleinste nicht‑Null‑Gradientenkomponente und T die Gesamtzahl der Iterationen bezeichnet.

Ein interessanter Nebenerfolg der Arbeit ist, dass der SignSGD‑Algorithmus dieselbe Fehlerordnung aufweist. Um die Generalisierung weiter zu verbessern, wurde CLion entwickelt, das die Signfunktion noch vorsichtiger einsetzt. Dadurch reduziert sich der Fehler auf O(1/N), was besonders dann von Vorteil ist, wenn τ sehr klein ist.

Neben der verbesserten Generalisierung liefert die Analyse auch ein starkes Konvergenzresultat: CLion konvergiert mit der Rate O(√d / T^{1/4}) unter der ℓ₁-Norm für nicht‑konvexe stochastische Optimierungsaufgaben, wobei d die Modelldimension ist.

Um die theoretischen Erkenntnisse zu validieren, wurden umfangreiche numerische Experimente durchgeführt. Die Ergebnisse zeigen, dass CLion nicht nur die Generalisierung verbessert, sondern auch schneller konvergiert als der klassische Lion‑Optimierer. Diese Fortschritte machen CLion zu einer vielversprechenden Wahl für zukünftige Deep‑Learning‑Projekte.