Differenzielle Privatsphäre in Zwei-Schicht-Netzwerken: DP‑SGD schädigt Fairness & Robustheit

In einem neuen Beitrag auf arXiv wird gezeigt, dass die Anwendung von Differential Privacy (DP) über den Algorithmus DP‑SGD in zweischichtigen ReLU‑CNNs nicht nur die Genauigkeit, sondern auch Fairness und Robustheit beeinträchtigt. Die Autoren entwickeln ein einheitliches, feature‑zentriertes Analysemodell, das die Lerndynamik von DP‑SGD in solchen Netzwerken untersucht.

Der Schlüsselparameter, den sie identifizieren, ist das Feature‑to‑Noise‑Ratio (FNR). Sie beweisen, dass das für den Datenschutz notwendige Rauschen zu suboptimalem Feature‑Learning führt. Ungleichmäßige FNRs zwischen Klassen und Subpopulationen erzeugen einen Diskriminierungseffekt, während das Rauschen bei semantisch seltenen Daten noch stärker wirkt. Darüber hinaus erhöht die Rauschinjektion die Anfälligkeit gegenüber adversarialen Angriffen.

Ein weiteres Ergebnis ist, dass die gängige Praxis, ein Modell öffentlich vorzutrainieren und anschließend privat zu feintunen, keine garantierte Verbesserung bringt, insbesondere wenn die Feature‑Verteilungen zwischen den Datensätzen stark verschoben sind. Die theoretischen Erkenntnisse werden durch Experimente an synthetischen und realen Datensätzen bestätigt.