Self‑Routing: Expertenrouting ohne Parameter – direkt aus Hidden States
In der neuesten Veröffentlichung auf arXiv wird ein völlig neuer Ansatz für Mixture‑of‑Experts‑Modelle vorgestellt: Self‑Routing. Anstatt einen lernbaren Router zu verwenden, nutzt Self‑Routing einen festgelegten Teilra…