Modellfusion ohne Daten: Kovarianzschätzung aus Differenzmatrizen

Modellfusion bietet eine kostengünstige Möglichkeit, einzelne Modelle zu kombinieren und deren jeweilige Stärken zu bündeln. Viele bestehende Verfahren beruhen jedoch auf heuristischen Ansätzen und fehlen eine solide theoretische Grundlage.

Die neue Methode betrachtet Modellfusion als schichtweise Optimierungsaufgabe, die gezielt die Interferenz zwischen den Aufgaben minimiert. Traditionell erfordert diese Herangehensweise die Schätzung von Kovarianzmatrizen pro Layer – ein Prozess, der auf Daten angewiesen ist.

Durch die Analyse von Differenzmatrizen lässt sich die Kovarianz direkt bestimmen, ohne dass zusätzliche Daten benötigt werden. Diese Datenfreie Schätzung reduziert nicht nur den Rechenaufwand, sondern eliminiert auch die Abhängigkeit von externen Datensätzen.

In umfangreichen Tests auf Bild- und Sprachbenchmarks – von Modellen mit 86 Mio bis zu 7 Mrd Parametern – übertrifft die neue Technik bisherige datenfreie State‑of‑the‑Art-Ansätze deutlich.

Die Arbeit liefert damit eine praktisch umsetzbare, theoretisch fundierte Lösung für die Modellfusion ohne zusätzliche Daten, die sich breit in verschiedensten Anwendungsfeldern einsetzen lässt.