Routing‑Topologie beeinflusst Sprachmodellqualität bei Mixture‑of‑Experts nicht
In einer neuen Studie zum Sparse Mixture‑of‑Experts (MoE) wurde untersucht, ob die Art der Routing‑Topologie die Qualität von Sprachmodellen bestimmt. Forscher entwickelten ein geometrisches MoE‑Modell, das Cosinus‑Ähnl…