Neurale Modelle revolutionieren die Bewertung von Text‑zu‑Speech-Systemen

Die Sicherstellung, dass Text‑zu‑Speech‑Systeme (TTS) in großem Maßstab die von Menschen wahrgenommene Qualität liefern, bleibt eine zentrale Herausforderung moderner Sprachtechnologien. Traditionelle, subjektive Bewertungsverfahren wie Mean Opinion Score (MOS) und Side‑by‑Side (SBS) Vergleiche gelten zwar als Goldstandard, sind jedoch kostenintensiv, zeitaufwendig und anfällig für Bias bei den Beurteilern.

In einer neuen Studie wurden dafür eine Reihe innovativer neuronaler Modelle entwickelt, die Expertenurteile sowohl im relativen (SBS) als auch im absoluten (MOS) Rahmen nachahmen sollen. Das Modell NeuralSBS, das auf der HuBERT‑Architektur basiert, erreicht dabei eine Genauigkeit von 73,7 % auf dem SOMOS‑Datensatz. Für die absolute Bewertung wurden die bestehenden MOSNet‑Modelle mit maßgeschneiderten Batch‑Größen für Sequenzen optimiert, und ein neues Ensemble namens WhisperBert kombiniert Whisper‑Audio‑Features mit BERT‑Text‑Embeddings über schwache Lernalgorithmen.

Die besten MOS‑Modelle erzielen eine Root‑Mean‑Square‑Error‑Werte von etwa 0,40, was die menschliche Inter‑Rater‑RMSE‑Basislinie von 0,62 deutlich übertrifft. Diese Ergebnisse zeigen, dass neuronale Modelle die Qualität von TTS-Systemen zuverlässig und effizient bewerten können.

Durch Ablationsstudien wurde deutlich, dass eine direkte Fusion von Text über Cross‑Attention die Leistung verschlechtert, während ein Ensemble‑Stacking die Genauigkeit verbessert. Negative Resultate wurden bei SpeechLM‑basierten Architekturen sowie bei Zero‑Shot‑LLM‑Evaluatoren wie Qwen2‑Audio und Gemini 2.5 Flash Preview erzielt, was die Notwendigkeit spezialisierter Metric‑Learning‑Frameworks unterstreicht.

Die Arbeit demonstriert, dass dedizierte neuronale Bewertungsmodelle nicht nur die Effizienz steigern, sondern auch die Zuverlässigkeit der Qualitätsmessung von TTS-Systemen erhöhen. Sie legt damit einen wichtigen Grundstein für die weitere Entwicklung skalierbarer, automatisierter Evaluationsmethoden in der Sprachtechnologie.