MUQ-EVAL: Offene Qualitätsmetrik für KI-Musik, die mit Menschen übereinstimmt

Die Bewertung von KI-generierter Musik hat lange Zeit von Metriken wie dem Fréchet Audio Distance geprägt, die zwar globale Qualitätswerte liefern, aber einzelne Stücke nicht bewerten können und kaum mit menschlichen Einschätzungen korrelieren. Der bisher einzige per‑Sample lernbasierte Ansatz war zudem proprietär. Mit MUQ‑EVAL wird das geändert: eine vollständig Open‑Source‑Metrik, die jedes Musikstück einzeln bewertet und dabei eine hohe Übereinstimmung mit menschlichen Meinungen erreicht.

MUQ‑EVAL nutzt die bereits leistungsfähigen MuQ‑310M‑Features und trainiert leichte Vorhersageköpfe darauf. Dabei werden die Features eingefroren und mit Attention‑Pooling sowie einem zweischichtigen MLP kombiniert. Das Ergebnis ist beeindruckend: Auf Systemebene erzielt die einfachste Variante einen SRCC von 0,957, auf Stichprobenebene einen SRCC von 0,838 gegenüber menschlichen Mean‑Opinion‑Scores.

Eine systematische Ablation zeigte, dass zusätzliche Trainingsziele oder Anpassungsstrategien die Leistung nicht weiter steigern – die MuQ‑Repräsentationen enthalten bereits die relevanten Qualitätsinformationen. Der entscheidende Faktor ist die Wahl des Encoders, nicht die Architektur oder das Training.

Dank LoRA‑Anpassungen kann MUQ‑EVAL bereits mit nur 150 Trainingsclips eine brauchbare Korrelation erreichen, was die Möglichkeit eröffnet, personalisierte Qualitätsprüfer aus individuellen Listener‑Annotations zu bauen. Eine gezielte Degradationsanalyse verdeutlicht, dass die Metrik empfindlich auf Signal‑Artefakte reagiert, aber musikalische Strukturelemente weitgehend ignoriert.

MUQ‑EVAL übertrifft bestehende Open‑Source‑Metriken, arbeitet in Echtzeit auf einer einzelnen Consumer‑GPU und ist komplett frei zugänglich. Code, Modellgewichte und Evaluationsskripte finden Sie unter https://github.com/dgtql/MuQ-Eval.