LightMoE: Reduzierung von MoE-Redundanz durch Expertenersatz

Die neueste Veröffentlichung von LightMoE präsentiert einen innovativen Ansatz, um die Speicherbelastung von Mixture-of-Experts (MoE) basierten großen Sprachmodellen drastisch zu senken. Durch das Ersetzen redundanter Experten mit kompakteren, parameter‑effizienten Modulen wird die Modellgröße reduziert, ohne dabei die Leistungsfähigkeit zu gefährden.

Traditionelle MoE‑Modelle benötigen für jede Aufgabe zahlreiche Experten, was zu enormen Speicheranforderungen führt. Bestehende Kompressionstechniken wie Pruning oder das Zusammenführen von Experten führen häufig zu irreversiblen Wissensverlusten oder erfordern aufwändige Trainingsschritte. LightMoE schlägt stattdessen ein „Expert‑Replacing“-Paradigma vor, bei dem überflüssige Experten durch schlankere Module ersetzt und deren Fähigkeiten anschließend mit minimalem Training wiederhergestellt werden.

Das LightMoE‑Framework erweitert dieses Konzept um adaptive Expertenauswahl, hierarchische Expertenkonstruktion und eine annealed‑Recovery‑Strategie. In Experimenten konnte gezeigt werden, dass LightMoE bei einer 30‑Prozent‑Kompression die gleiche Leistung wie LoRA‑Fine‑Tuning erzielt. Bei einer aggressiveren 50‑Prozent‑Kompression übertrifft es bestehende Methoden und erzielt durchschnittlich 5,6 % bessere Ergebnisse über fünf unterschiedliche Aufgaben hinweg.

Diese Ergebnisse demonstrieren, dass LightMoE ein ausgewogenes Verhältnis zwischen Speicher‑, Trainings‑ und Leistungsoptimierung bietet und damit einen bedeutenden Fortschritt für die praktische Anwendung von MoE‑basierten Sprachmodellen darstellt.