Neues Benchmark CSyMR-Bench: KI meistern komplexe musikalische Analyse

In einer aktuellen Veröffentlichung auf arXiv wird das neue Benchmark‑Set CSyMR-Bench vorgestellt, das speziell für die Bewertung von KI‑Modellen im Bereich der symbolischen Musiklogik entwickelt wurde. Im Gegensatz zu bisherigen Tests, die meist einzelne Fakten oder atomare Analysen prüfen, fordert CSyMR-Bench die Modelle heraus, mehrere Analyse‑Schritte zu kombinieren, um komplexe musikalische Strukturen zu verstehen.

Das Benchmark besteht aus 126 Multiple‑Choice‑Fragen, die aus Fachforen und professionellen Prüfungen zusammengestellt wurden. Jede Frage verlangt die Verbindung mehrerer atomarer Erkenntnisse, um die richtige Antwort zu finden. Zusätzlich wurde ein agentenbasiertes System entwickelt, das symbolische Analyse‑Tools der Bibliothek music21 nutzt, um die Aufgaben zu lösen.

Experimentelle Ergebnisse zeigen, dass CSyMR-Bench sowohl für Community‑basierte als auch für prüfungsorientierte Fragen eine echte Herausforderung darstellt. Der tool‑augmentierte Agent übertrifft sämtliche Basis‑Modelle um 5 bis 7 % absolute Genauigkeit, was die Wirksamkeit der kombinierten Analyse‑Tools unterstreicht und neue Perspektiven für die KI‑gestützte Musikforschung eröffnet.