Neue Studie zeigt, wie Modality Gap in medizinischen VLMs optimiert werden kann

Vision‑Language‑Modelle (VLMs) weisen einen charakteristischen „Cone‑Effekt“ auf, bei dem nichtlineare Encoder die Embeddings in stark konzentrierte Bereiche des Repräsentationsraums abbilden. Dieser Effekt führt zu einer deutlichen Trennung der Modalitäten, dem sogenannten Modality Gap, deren praktischer Einfluss auf multimodales Lernen – besonders im medizinischen Bereich – bislang unklar war.

In der vorliegenden Arbeit wird ein leichtgewichtiges, nachträgliches Verfahren vorgestellt, das die vortrainierten VLM‑Encoder unverändert lässt und die Kreuzmodaltrennung über einen einzigen Hyperparameter λ steuert. Dadurch lässt sich systematisch untersuchen, wie der Modality Gap die Leistung von multimodalen Aufgaben beeinflusst, ohne dass ein aufwändiges Retraining erforderlich ist.

Die Methode wurde an allgemeinen Modellen wie CLIP und SigLIP sowie an medizinisch spezialisierten Modellen wie BioMedCLIP und MedSigLIP getestet. Dabei wurden sowohl medizinische als auch natürliche Datensätze in einer überwachten multimodalen Umgebung evaluiert.

Die Ergebnisse zeigen konsequent, dass eine Reduktion eines übermäßigen Modality Gaps die Leistung verbessert. Medizinische Datensätze reagieren dabei besonders empfindlich auf die Gap‑Modulation. Allerdings ist ein vollständiges Kollabieren des Gaps nicht immer optimal; ein mittleres, auf die jeweilige Aufgabe abgestimmtes Maß an Trennung liefert die besten Resultate.

Diese Erkenntnisse legen nahe, dass der Modality Gap als anpassbare Eigenschaft multimodaler Repräsentationen betrachtet werden sollte, anstatt als ein Wert, der universell minimiert werden muss.