FedUAF: Unsicherheitsbewusste Fusion für multimodale Sentiment Analyse

In der Welt der multimodalen Sentiment‑Analyse, die in federated‑Learning‑Umgebungen betrieben wird, stellen fehlende Modalitäten, heterogene Datenverteilungen und unzuverlässige Client‑Updates erhebliche Hindernisse dar. Das neue Framework FedUAF begegnet diesen Problemen mit einer innovativen Kombination aus unsicherheitsbewusster Fusion und reliabilitätsgesteuerter Aggregation.

FedUAF modelliert explizit die Unsicherheit auf Modality‑Ebene während des lokalen Trainings und nutzt die Zuverlässigkeit jedes Clients, um die globale Aggregation gezielt zu steuern. Durch diese beiden Mechanismen kann das System effektiv lernen, selbst wenn multimodale Daten unvollständig oder verrauscht sind.

Umfangreiche Experimente auf den Datensätzen CMU‑MOSI und CMU‑MOSEI zeigen, dass FedUAF die führenden federated‑Learning‑Baselines in allen getesteten Szenarien – von unterschiedlichen fehlenden‑Modality‑Mustern bis hin zu stark nicht‑identisch verteilten (Non‑IID) Daten – konsequent übertrifft. Darüber hinaus demonstriert das System eine herausragende Robustheit gegenüber verrauschten Clients.

Diese Ergebnisse unterstreichen das enorme Potenzial von FedUAF für reale Anwendungen, bei denen multimodale Daten dezentral verarbeitet werden müssen, ohne dabei an Genauigkeit oder Stabilität einzubüßen.