Kurvenbewusste Federated Pruning mit Modellrekonstruktion reduziert Kosten bei gleichbleibender Genauigkeit

Ein neues Verfahren namens Curvature-Aware Heterogeneous Federated Pruning (CA‑HFP) ermöglicht es, dass jedes Edge‑Gerät in einem verteilten Lernsystem ein individuelles, strukturiertes Modell zuschneidet. Dabei wird die Wichtigkeit der einzelnen Gewichte anhand einer Krümmungs‑Metrik bewertet, sodass nur die wirklich relevanten Parameter behalten werden.

Nach dem lokalen Pruning wird das verkleinerte Submodell mithilfe einer leichtgewichtigen Rekonstruktion wieder in den gemeinsamen globalen Parameterraum überführt. Dadurch bleibt die Aggregation der Modelle kompatibel und die Konvergenz stabil, obwohl die Geräte unterschiedliche Daten und Rechenkapazitäten besitzen.

Die Autoren haben einen theoretischen Konvergenzbeweis entwickelt, der die Auswirkungen lokaler SGD‑Schritte, Datenheterogenität und Pruning‑Störungen berücksichtigt. Auf Basis dieses Beweises ergibt sich ein klar definiertes, verlustbasiertes Pruning‑Kriterium.

In umfangreichen Tests mit FMNIST, CIFAR‑10 und CIFAR‑100 unter Verwendung von VGG- und ResNet‑Architekturen zeigte CA‑HFP, dass die Modellgenauigkeit erhalten bleibt, während die Rechen- und Kommunikationskosten pro Client deutlich reduziert werden. Das Verfahren übertrifft sowohl herkömmliches federiertes Training als auch bestehende Pruning‑Ansätze.