Merging von LLMs kollabiert: Warum Aufgabenkompatibilität entscheidend ist

In einer neuen Studie von Forschern auf arXiv (2603.09463v1) wird ein bislang wenig verstandenes Phänomen im Bereich der Sprachmodelle beleuchtet: das sogenannte „Merging Collapse“. Beim Zusammenführen von unabhängig feinjustierten LLMs, die auf demselben Basismodell beruhen, kann die Leistung plötzlich drastisch sinken, wenn die Modelle für unterschiedliche Aufgaben optimiert wurden.

Die Autoren zeigen, dass dieser Kollaps nicht zufällig auftritt, sondern stark mit einer fundamentalen Inkompatibilität der erlernten Repräsentationen zwischen den Aufgaben zusammenhängt. Im Gegensatz dazu weisen klassische Metriken, die Konflikte im Parameterraum messen, kaum einen Zusammenhang mit dem Kollaps auf – ein Ergebnis, das die bisherige Annahme in der Modell‑Merge‑Literatur in Frage stellt.

Um das Phänomen zu erklären, greifen die Forscher auf die Rate‑Distortion‑Theorie zurück und führen eine dimensionsabhängige Schranke ein. Diese theoretische Grenze legt fest, unter welchen Bedingungen zwei Aufgaben überhaupt zusammengeführt werden können, unabhängig von der verwendeten Merge‑Methode. Damit wird ein fundamentaler, methodenunabhängiger Beschränkungspunkt für die Merge‑Fähigkeit von LLMs aufgestellt.

Die Ergebnisse legen nahe, dass Entwickler von Sprachmodellen bei der Integration von Spezialmodellen stärker auf die Kompatibilität der Aufgaben achten müssen. Zukünftige Arbeiten könnten sich darauf konzentrieren, Metriken zu entwickeln, die die Repräsentationskompatibilität frühzeitig erkennen, um Merge‑Collapse zu vermeiden und die Effizienz von LLM‑Entwicklungsprozessen zu steigern.