Hybrid-Architektur verbindet Echtzeit-Sprachdialog mit tiefem Wissen

In der Welt der Sprach-KI sind schnelle, flüssige Antworten oft der Schlüssel zum Erfolg – doch sie bleiben häufig ohne tiefes Fachwissen. Um dieses Problem zu lösen, hat ein Forschungsteam eine neue hybride Architektur entwickelt, die das Beste aus beiden Welten kombiniert.

Die Lösung nutzt einen Echtzeit‑Speech‑to‑Speech‑Transformer, der sofort auf die Stimme des Nutzers reagiert. Gleichzeitig wird die Anfrage an ein leistungsstarkes Large‑Language‑Model (LLM) gesendet. Das LLM liefert einen textbasierten, wissensreichen Antwortvorschlag, der in Echtzeit in die Sprachgenerierung des Transformers eingespeist wird. So erhält das System die Tiefe eines cascaded‑Systems, ohne die typischen Verzögerungen.

Die Leistung wurde an einer sprachsynthesierten Variante des MT‑Bench‑Benchmarks getestet, der mehrere Gesprächswechsel umfasst. Das hybride System übertraf das reine S2S-Modell deutlich in der Antwortkorrektheit und kam dem cascaded‑System nahe, während die Latenz weiterhin mit dem schnellen Basismodell übereinstimmte. Damit zeigt die neue Architektur, dass Wissen und Geschwindigkeit in Echtzeit‑Sprachdialogen Hand in Hand gehen können.