LiME: Leichtgewichtige Expertenmischung für effizientes multimodales Lernen

In einer neuen Veröffentlichung auf arXiv wird LiME vorgestellt, eine innovative Variante der Mixture-of-Experts (MoE), die speziell für parameter‑effizientes Fine‑Tuning (PEFT) in multimodalen Multi‑Task‑Lernumgebungen entwickelt wurde. Im Gegensatz zu herkömmlichen MoE‑PEFT‑Methoden, die für jeden Experten separate Adapter benötigen, nutzt LiME einen einzigen, gemeinsam genutzten PEFT‑Modul und moduliert dessen Ausgabe mit leichtgewichtigen Expertendialogen. Dadurch werden die Anzahl der trainierbaren Parameter drastisch reduziert, ohne die Fähigkeit zur Experten­spezialisierung zu verlieren.

Ein weiteres Highlight von LiME ist die Einführung von Routing ohne zusätzliche Parameter. Durch die Nutzung bereits gefrorener und angepasster Repräsentationen kann LiME die üblichen Router‑Parameter, die in jedem Layer gelernt werden, komplett eliminieren. Theoretisch wird gezeigt, dass mehr Experten mehr task‑relevante Informationen erhalten und die Modulation die volle Experten‑spezifische PEFT mit beschränktem Fehler annähert. Praktisch ergänzt LiME das Routing um n‑gram‑Fenster und eine adaptive Expertenauswahl (Auto Top‑K), die sich an der Routing‑Vertrauenswürdigkeit orientiert.

Die Experimente auf dem MMT‑47‑Benchmark, der 47 Aufgaben aus Text, Bild und Video umfasst, demonstrieren, dass LiME nicht nur mit bestehenden MoE‑PEFT‑Baselines konkurriert, sondern diese oft übertrifft. Gleichzeitig reduziert LiME die Anzahl der trainierbaren Parameter um bis zu viermal und beschleunigt das Training um bis zu 29 %. Diese Ergebnisse machen LiME zu einer vielversprechenden Lösung für effizientes multimodales Multi‑Task‑Learning, die sowohl die Modellgröße als auch die Rechenkosten erheblich senkt.