Gewichtetes Gradient Tracking schützt Privatsphäre in verteilten Optimierungen

In einer neuen Veröffentlichung auf arXiv wird ein innovativer Ansatz vorgestellt, der die Privatsphäre von Agenten in verteilten Optimierungsprozessen schützt. Der Autor hebt hervor, dass die weit verbreitete Technik des Gradient Trackings, die die Konvergenzgeschwindigkeit in verteilten Algorithmen verbessert, ein inhärentes Risiko für Datenschutzverletzungen birgt.

Um diesem Problem entgegenzuwirken, wird ein gewichtetes Gradient-Tracking-Verfahren entwickelt, bei dem die Gewichtungsfaktoren im Verlauf der Iterationen abnehmen. Durch diese dynamische Anpassung wird die Möglichkeit, sensible Informationen zu rekonstruieren, praktisch eliminiert, ohne die Vorteile der schnellen Konvergenz zu verlieren.

Der Artikel liefert zudem eine theoretische Analyse, die zeigt, dass der neue Algorithmus unter variablen, heterogenen Schrittgrößen exakt zum optimalen Ergebnis konvergiert – vorausgesetzt, die üblichen milden Annahmen gelten. Praktische Tests, die ein klassisches verteiltes Schätzproblem sowie das Training eines Convolutional Neural Networks umfassen, bestätigen die Wirksamkeit des Ansatzes.