Softmax-gewichteter Gradientenwechsel für verteilte Minimax-Optimierung

Ein neues Verfahren, das Softmax-gewichteten Gradientenwechsel nutzt, löst das Problem der verteilten stochastischen Minimax-Optimierung unter stochastischen Nebenbedingungen. Das Verfahren ist speziell für federated‑Learning‑Umgebungen konzipiert und arbeitet ausschließlich mit Gradienten erster Ordnung.

Bei vollständiger Teilnahme aller Clients erreicht der Algorithmus die klassische \(\mathcal{O}(\varepsilon^{-4})\)-Komplexität, um sowohl die optimalitäts- als auch die zulässigkeitsspezifische Toleranz \(\varepsilon\) zu erfüllen. Für den realistischeren Fall partieller Teilnahme wird die durch Client‑Sampling entstehende Rauschkomponente mittels einer stochastischen Überlegenheitssatzes quantifiziert, sodass die Analyse weiterhin gültig bleibt.

Durch die Aufhebung üblicher Beschränktheitsannahmen an die Zielfunktion wird ein deutlich engeres unteres Schranken für den Softmax‑Hyperparameter hergeleitet. Ein einheitliches Fehler‑Decomposition‑Schema liefert zudem eine scharfe \(\mathcal{O}(\log(1/\delta))\)-Konvergenzgarantie in hoher Wahrscheinlichkeit. Das Verfahren nutzt einen ein‑Schleifen‑primalen Wechselmechanismus, der die Hyperparameter‑Empfindlichkeit und die typischen Oszillationen bei primal‑dual‑ oder Strafverfahren eliminiert und damit die Stabilität bei der Optimierung der Worst‑Case‑Leistung einzelner Clients verbessert.

Die Wirksamkeit des Ansatzes wird durch Experimente auf den Aufgaben Neyman‑Pearson‑Klassifikation und fairer Klassifikation demonstriert. Die Ergebnisse zeigen, dass das Softmax‑gewichtete Verfahren sowohl in Bezug auf Genauigkeit als auch auf Fairness die bestehenden Methoden übertrifft.