FedGen-Edge: Federated Learning für generative KI – weniger Daten, mehr Personalisierung

Ein neues Forschungspapier präsentiert FedGen-Edge, ein Framework, das das Training großer generativer Modelle in federierten, geräteübergreifenden Umgebungen revolutioniert. Durch die Trennung eines eingefrorenen, vortrainierten globalen Backbones von leichtgewichtigen Client‑Adaptern ermöglicht FedGen-Edge eine effiziente und personalisierte Modellanpassung direkt an den Edge‑Geräten.

Traditionell sind große Sprach‑ und Diffusionsmodelle schwer in federierten Settings zu trainieren, weil sie enorme Rechenleistung, hohe Kommunikationskosten und starke statistische sowie systemische Heterogenität erfordern. FedGen-Edge löst dieses Problem, indem es nur die Adapter an den Clients federiert und den Hauptmodell‑Backbone unverändert lässt.

Durch den Einsatz von Low‑Rank Adaptation (LoRA) werden die Client‑Updates auf einen kompakten Unterraum beschränkt. Das reduziert den Upload‑Traffic um mehr als 99 % im Vergleich zu herkömmlichem FedAvg, stabilisiert die Aggregation bei nicht‑IID‑Daten und ermöglicht gleichzeitig eine individuelle Anpassung, da jeder Client seinen eigenen Adapter lokal optimieren kann.

In Experimenten mit Sprachmodellierung (PTB) und Bildgenerierung (CIFAR‑10) erzielt FedGen-Edge niedrigere Perplexität bzw. FID‑Werte und schnelleres Konvergenzverhalten als starke Baselines, während es einen einfachen FedAvg‑ähnlichen Server beibehält.

Eine Ablationsstudie zeigt, dass die Vorteile mit zunehmendem LoRA‑Rank abnehmen und dass ein Kompromiss zwischen lokalen Epochen und Client‑Drift besteht. Trotz dieser Trade‑Offs bietet FedGen-Edge einen praktikablen Ansatz für datenschutzfreundliche, ressourcenschonende und personalisierte generative KI auf heterogenen Edge‑Geräten.