Federated Learning eröffnet neue Wege für multimodale Sprachmodelle

Die rasante Entwicklung multimodaler großer Sprachmodelle (MLLMs) wird durch die Knappheit hochwertiger öffentlicher Daten gehemmt, während große Mengen an multimodalen Daten in datenschutzsensiblen Silos verborgen bleiben.

Federated Learning (FL) bietet eine vielversprechende Lösung, um diese dezentralen Ressourcen zu nutzen. Bisher konzentrierte sich die Forschung jedoch hauptsächlich auf das Feintuning, während die Grundphase des Pretrainings weitgehend unerforscht blieb.

In der vorliegenden Arbeit wird das Federated MLLM Alignment (Fed‑MA) als neues, leichtgewichtiges Pretraining-Paradigma vorgestellt. Dabei bleibt der Vision‑Encoder und das LLM unverändert, während ein gemeinsamer Cross‑Modal‑Projektor trainiert wird.

Die Autoren identifizieren zwei zentrale Herausforderungen: Parameterinterferenz bei der Aggregation lokaler Projektoren und Gradientenschwingungen bei ein‑Pass‑SGD. Um diese zu überwinden, wird Fed‑CMP vorgeschlagen.

Fed‑CMP nutzt Canonical Reliability‑Aware Aggregation, um einen kanonischen Raum zu schaffen, in dem lokale Projektoren in eine gemeinsame Basis und client‑spezifische Koeffizienten zerlegt werden. Durch reliabilitätsgewichtete Fusion wird Parameterinterferenz reduziert.

Zusätzlich führt Fed‑CMP Orthogonality‑Preserved Momentum ein, das Momentum auf die gemeinsame Basis mittels orthogonaler Projektion anwendet, um historische Optimierungsrichtungen zu akkumulieren und gleichzeitig die geometrische Struktur zu bewahren.

Vier Federated‑Pretraining‑Szenarien basierend auf öffentlichen Datensätzen wurden erstellt, und umfangreiche Experimente zeigen, dass Fed‑CMP die Leistung signifikant verbessert und die Herausforderungen erfolgreich adressiert.

Die Ergebnisse markieren einen wichtigen Schritt in Richtung einer breiteren Nutzung von privaten multimodalen Daten und ebnen den Weg für robustere, datenschutzfreundliche MLLMs.