FedZero: Federated Zero-Order Optimierung mit Hochwahrscheinlichkeitsgarantie
In einer neuen Veröffentlichung auf arXiv wird FedZero vorgestellt, ein federated‑Zero‑Order‑Algorithmus, der in verteilten Lernumgebungen ohne Gradientenabzüge arbeitet. Der Ansatz liefert nahezu optimale Fehlergrenzen mit hoher Wahrscheinlichkeit im federated‑konvexen Setting und eröffnet zugleich erstmals hochwahrscheinlichkeitsbasierte Konvergenzresultate für konvexe Zero‑Order‑Optimierung im Einzelarbeitsmodus.
FedZero nutzt einen Gradientenestimator, der auf einer Randomisierung über die ℓ₁‑Sphäre basiert. Zur Analyse wurden neue Konzentrationsungleichungen für Lipschitz‑Funktionen unter der uniformen Messung auf der ℓ₁‑Sphäre entwickelt, inklusive expliziter Konstanten. Diese Konzentrationswerkzeuge sind nicht nur für die Hochwahrscheinlichkeitsgarantien zentral, sondern könnten auch eigenständig von Interesse sein.
Die Arbeit stärkt damit die klassische Erwartungs‑basierten Ergebnisse und bietet gleichzeitig praktische, theoretisch fundierte Werkzeuge für die Optimierung in verteilten, gradientenfreien Szenarien.