Neue Kennzahl ED enthüllt Redundanz in KI‑Benchmarks

Eine neue Studie aus dem arXiv‑Repository präsentiert die „Effective Dimensionality“ (ED), ein Maß, das die wirkliche Breite von KI‑Benchmark‑Sätzen quantifiziert. ED nutzt das partizipationsbasierte Verhältnis eines zentrierten Spektrums von Benchmark‑Scores, um schnell und zuverlässig die Anzahl unabhängiger Messachsen zu bestimmen.

Die Autoren wendeten ED auf 22 Benchmarks in acht verschiedenen Domänen an und analysierten über 8.400 Modell‑Evaluierungen. Dabei zeigte sich, dass viele populäre Benchmarks, wie das Open LLM Leaderboard, nur etwa zwei effektive Messachsen besitzen (ED = 1,7). Ähnliche Ergebnisse wurden für BBH und MMLU‑Pro erzielt, die sich nahezu austauschbar erweisen (Korrelation = 0,96) und über sieben Unterpopulationen hinweg stabil bleiben.

Die Untersuchung verdeutlicht, dass die aktuelle Messbreite zwischen Benchmarks mehr als 20‑fach variiert. ED liefert damit ein robustes, populationsabhängiges Obergrenzen‑Diagnoseinstrument, das Redundanzen aufdecken, die Kompression von Leistungsdaten überwachen und die Pflege von Benchmark‑Suiten optimieren kann. Die Autoren betonen, dass ED eher als Screening‑Statistik denn als exakte Faktoranzahl zu verstehen ist und ergänzen sie mit Null‑, Zuverlässigkeits‑ und Sättigungsanalysen.

Zur Unterstützung von Benchmark‑Betreibern stellt die Studie ein Referenzatlas mit 22 Benchmarks sowie einen vierstufigen Diagnose‑Workflow bereit, der mit einer Score‑Matrix und wenigen Codezeilen ausgeführt werden kann.