Federated Adaptive Distillation: Curriculum für effizienten Wissenstransfer

In den letzten Jahren haben kollaborative Knowledge‑Distillation‑Methoden enorme Fortschritte erzielt, insbesondere in ressourcenbeschränkten, verteilten Multimedia‑Lernumgebungen. Ein zentrales Problem bleibt jedoch die Diskrepanz zwischen der hochdimensionalen Komplexität der Lehrermodelle und den heterogenen Lernkapazitäten der Clients, was die Umsetzung in Edge‑basierten Visual‑Analytics‑Systemen erschwert.

Um diesem Problem zu begegnen, präsentiert die neue Methode Federated Adaptive Progressive Distillation (FAPD). Das Konzept nutzt Prinzipien des Curriculum‑Learnings und zerlegt die Lehrerdaten hierarchisch mithilfe von PCA. Durch die Extraktion der Hauptkomponenten, sortiert nach ihrer Varianzbeitrags, entsteht eine natürliche visuelle Wissenshierarchie, die den Clients schrittweise komplexeres Wissen vermittelt.

FAPD arbeitet mit dimensionsadaptiven Projektionsmatrizen, die es den Clients ermöglichen, Wissen in aufeinanderfolgenden Stufen zu assimilieren. Gleichzeitig überwacht der Server die Lernstabilität im Netzwerk, indem er globale Genauigkeitsschwankungen über einen zeitlichen Konsens‑Fenster verfolgt. Nur wenn ein gemeinsamer Konsens erreicht ist, wird die Dimensionalität des Curriculums erhöht, wodurch ein kontrollierter und effizienter Lernfortschritt gewährleistet wird.

Experimentelle Studien auf drei Datensätzen zeigen, dass FAPD die Genauigkeit gegenüber dem Standard‑FedAvg um 3,64 % auf CIFAR‑10 steigert, die Konvergenzzeit um das Doppelte verkürzt und unter extrem heterogenen Datenbedingungen (α = 0,1) robuste Leistungen erbringt. Diese Ergebnisse übertreffen alle bisherigen Baselines deutlich.

FAPD demonstriert damit, wie ein konsensbasiertes, adaptive Curriculum‑Learning‑Framework die Wissensübertragung in verteilten Systemen optimieren kann. Es bietet einen vielversprechenden Ansatz für die Entwicklung ressourcenschonender, hochleistungsfähiger Edge‑Lösungen im Bereich der visuellen Analyse.