MixAtlas: Optimierung multimodaler Datenmischungen für LLMs mit Unsicherheit

Die neue Methode MixAtlas eröffnet einen bislang wenig erforschten Ansatz zur Optimierung von Datenmischungen im mittleren Training multimodaler Sprachmodelle. Während die Reweighting‑Strategie von Domänen bereits die Stichproben­effizienz und die Generalisierung verbessert, fehlt bislang ein systematischer Weg, um die Zusammensetzung der Trainingsdaten gezielt zu steuern.

MixAtlas erzeugt daten­recipes, die speziell auf die Anforderungen verschiedener Benchmarks zugeschnitten sind. Dabei zerlegt die Methode das Trainingskorpus entlang zweier Achsen: Bildkonzepte – zehn visuelle Cluster, die aus CLIP‑Embeddings extrahiert wurden – und Aufgaben­überwachung – fünf Zieltypen wie Beschriftung, OCR, Grounding, Detektion und VQA. Durch die Kombination kleiner Proxy‑Modelle (Qwen2‑0.5B) mit einem Gaussian‑Process‑Surrogat und der GP‑UCB‑Akquisition durchsucht MixAtlas den Mischungsraum effizient und findet bessere Konfigurationen als herkömmliche Regressions‑Baselines.

In umfangreichen Tests auf zehn Benchmarks, die visuelles Verständnis, Dokumenten‑ und multimodales Reasoning abdecken, erzielte MixAtlas signifikante Verbesserungen. Auf Qwen2‑7B stiegen die durchschnittlichen Leistungen um 8,5 % bis 17,6 % im Vergleich zum stärksten Baseline, während auf Qwen2.5‑7B Zuwächse von 1,0 % bis 3,3 % erreicht wurden. Beide Modelle erreichten einen gleichwertigen Trainingsverlust in bis zu zwei Mal weniger Schritten. Darüber hinaus lassen sich die auf 0,5 B‑Proxies entdeckten Rezepte problemlos auf 7 B‑Skalen und verschiedene Qwen‑Familien übertragen.