BTW: Neues, nicht-parametrisches Verfahren verbessert multimodale Modelle

Modulare Expertensysteme (Mixture-of-Experts, MoE) haben die multimodale KI revolutioniert, indem sie die Spezialisierung einzelner Modelle auf unterschiedliche Modalitäten ermöglichen. Doch sobald zusätzliche Modalitäten mehr Rauschen als Mehrwert bringen, kann die Gesamtleistung stark leiden.

Aktuelle Ansätze wie die Partial Information Decomposition stoßen an ihre Grenzen: Sie skalieren kaum über zwei Modalitäten hinaus und bieten keine feinkörnige Kontrolle auf Beispiel‑Ebene.

Darauf reagiert das neue Framework Beyond Two‑modality Weighting (BTW). Es kombiniert auf zwei Ebenen die Kullback‑Leibler‑Divergenz (KL) für einzelne Beispiele mit der gegenseitigen Information (MI) für ganze Modalitäten, um die Wichtigkeit jeder Modalität während des Trainings dynamisch anzupassen.

BTW benötigt keine zusätzlichen Parameter und lässt sich beliebig viele Modalitäten einbinden. Für jedes Beispiel wird die KL‑Gewichtung berechnet, indem die Divergenz zwischen der Vorhersage der einzelnen Modalität und der aktuellen multimodalen Vorhersage gemessen wird. Auf Modality‑Ebene wird die MI‑Gewichtung ermittelt, indem die globale Übereinstimmung zwischen unimodalen und multimodalen Ausgaben geschätzt wird.

Umfangreiche Experimente in den Bereichen Sentiment‑Regression und klinische Klassifikation zeigen, dass BTW die Regressionsgenauigkeit und die Mehrklassen‑Klassifikationsleistung signifikant steigert.

Mit seiner einfachen, skalierbaren Architektur bietet BTW einen vielversprechenden Ansatz, um die Leistungsfähigkeit multimodaler Modelle zu erhöhen, ohne die Komplexität zu erhöhen.