Die $qs$-Ungleichung: Doppelte Nachteile von MoE bei Inferenz
Mixture-of-Experts (MoE) Modelle versprechen hohe Qualität bei geringer Trainingskomplexität, doch die Effizienz verschwindet häufig, sobald sie in der Praxis eingesetzt werden. Forscher haben ein strukturelles Doppelde…