Neuer Ansatz reduziert Ungleichgewicht bei IoT-Daten im Online-Federated Learning

Das Internet der Dinge erzeugt täglich riesige Mengen an multimodalen Daten aus Sensoren, Kameras und Mikrofonen. Durch die zunehmende Rechenleistung an den Edge‑Geräten können diese Daten jetzt lokal verarbeitet werden, was neue, verteilte Lernparadigmen erforderlich macht.

Im Zuge dieser Entwicklungen hat sich das multimodale Online‑Federated Learning (MMO‑FL) als vielversprechende Lösung etabliert. Allerdings sind IoT‑Geräte häufig instabil, was zu einem Ungleichgewicht in der Menge und Qualität der erfassten Modalitäten – kurz QQI – führt.

Die vorliegende Arbeit untersucht systematisch, wie QQI die Leistung von MMO‑FL beeinträchtigt, und liefert eine umfassende theoretische Analyse, die die Auswirkung beider Ungleichgewichte quantifiziert.

Zur Bewältigung dieser Herausforderung wird der Modality Quantity and Quality Rebalanced (QQR) Algorithmus vorgestellt. Dieser lernbasierte Ansatz arbeitet parallel zum Trainingsprozess und balanciert sowohl die Quantität als auch die Qualität der Modalitäten aus.

Ausgiebige Experimente an zwei realen multimodalen Datensätzen zeigen, dass der QQR‑Algorithmus unter Bedingungen mit Modalitätsungleichgewicht konsequent die Benchmarks übertrifft und damit ein vielversprechendes Ergebnis für die Praxis liefert.