MoB: Expertenrouten als Auktion – Revolution im kontinuierlichen Lernen

In der Welt der neuronalen Netze haben Mixture-of-Experts (MoE)-Architekturen enorme Fortschritte erzielt, doch ihr Einsatz im kontinuierlichen Lernen bleibt durch das Problem des katastrophalen Vergessens der Gating‑Netzwerke stark eingeschränkt. Das neue Konzept „Mixture of Bidders“ (MoB) löst dieses Problem, indem es die Routing‑Entscheidungen durch ein dezentralisiertes, wirtschaftliches Auktionssystem ersetzt.

MoB nutzt Vickrey‑Clarke‑Groves (VCG)-Auktionen, bei denen die Experten für jedes Datenbatch um die Teilnahme konkurrieren. Dabei bieten sie ihre wahre Kosten an – ein Zusammenspiel aus Ausführungskosten (vorhergesagter Verlust) und Vergessenskosten (Elastic Weight Consolidation‑Strafe). Dieses spieltheoretische Vorgehen bringt drei entscheidende Vorteile mit sich: Erstens ist das Routing zustandslos und damit vor katastrophalem Vergessen geschützt. Zweitens garantiert die dominante Strategie die Wahrhaftigkeit der Bieter, sodass die Experten immer ihre echten Kosten angeben. Drittens entsteht eine natürliche Spezialisierung der Experten, ohne dass explizite Aufgaben­grenzen definiert werden müssen.

Auf dem Split‑MNIST‑Benchmark erzielte MoB mit 88,77 % durchschnittlicher Genauigkeit einen beachtlichen Vorsprung gegenüber dem klassischen Gated‑MoE (19,54 %) und dem monolithischen EWC‑Ansatz (27,96 %). Das entspricht einer Steigerung um das 4,5‑fache gegenüber dem stärksten Baseline. Darüber hinaus wurde MoB um autonome, selbstüberwachende Experten erweitert, die ihre eigenen Wissens­konsolidations­Grenzen erkennen. Dadurch entfällt die Notwendigkeit, Aufgaben­grenzen explizit zu markieren.