Evolutionäre Fusion: M2N2 verbessert Modellfusion durch dynamische Anpassung
Ein neues Verfahren namens Model Merging of Natural Niches (M2N2) verspricht, die Art und Weise, wie mehrere KI‑Modelle zu einem einzigen zusammengeführt werden, grundlegend zu verändern. M2N2 nutzt einen evolutionären Ansatz, der drei zentrale Innovationen kombiniert: Erstens passen sich die Grenzen für das Zusammenführen der Modellparameter dynamisch an, wodurch ein breiteres Spektrum an Kombinationen erforscht werden kann. Zweitens sorgt ein von der natürlichen Konkurrenz inspirierter Mechanismus dafür, dass die Population aus vielfältigen, leistungsfähigen Modellen besteht, die besonders gut für die Fusion geeignet sind. Drittens wird ein heuristisches Anziehungsmaß verwendet, um die vielversprechendsten Modellpaare zu identifizieren.
Die ersten Experimente zeigen, dass M2N2 in der Lage ist, Modelle vollständig aus dem Nichts zu entwickeln. Beim Klassifizieren von MNIST‑Daten erreichte das Verfahren Leistungen, die mit denen der etablierten CMA‑ES‑Methode vergleichbar sind, jedoch mit deutlich geringerer Rechenzeit. Darüber hinaus demonstriert M2N2 seine Skalierbarkeit, indem es spezialisierte Sprach‑ und Bildgenerierungsmodelle zusammenführt und dabei einen neuen Stand der Technik erzielt. Besonders bemerkenswert ist, dass die fusionierten Modelle wichtige Fähigkeiten beibehalten, die nicht explizit im Fitness‑Kriterium optimiert wurden, was die Robustheit und Vielseitigkeit des Ansatzes unterstreicht.
Der Quellcode von M2N2 ist öffentlich verfügbar und kann unter https://github.com/SakanaAI/natural_niches eingesehen werden.