Geometrische Metriken für MoE: Von Fisher-Information zur frühzeitigen Fehlererkennung
Ein neues Papier auf arXiv präsentiert ein mathematisch fundiertes Konzept zur Bewertung der Spezialisierung von Mixture-of-Experts (MoE)-Modellen. Die Autoren zeigen, dass bisherige Metriken wie Kosinusähnlichkeit oder…