Open-Source-Pipeline für Audiovorverarbeitung in Full-Duplex-Sprachmodellen

Die Forschung im Bereich Sprachmodelle hat sich von rein textbasierten LLMs zu vollwertigen Speech Language Models (SLMs) entwickelt, die eine Echtzeit-Interaktion in natürlicher Sprache ermöglichen sollen. Für die Realisierung solcher Full‑Duplex-Systeme fehlt bislang jedoch eine ausreichende Menge an hochwertigen, mehrspurigen Gesprächsdaten. Die meisten verfügbaren Datensätze beschränken sich auf Einzelsprecher oder sind in ihrer Größe begrenzt, was die Modellierung komplexer Dialoge erschwert.

Besonders herausfordernd sind Phänomene wie Überlappungen, Rückantworten und andere natürliche Gesprächsverläufe. Standard‑Verarbeitungspipelines leiden dabei unter Fehlern bei der Sprechererkennung (Diarization) und bei der automatischen Spracherkennung (ASR), was zu Halluzinationen und ungenauen Transkriptionen führt.

Um diese Lücken zu schließen, wurde eine robuste und skalierbare Open‑Source‑Pipeline entwickelt, die speziell für die Vorverarbeitung von Full‑Duplex-Sprachmodellen konzipiert ist. Die Lösung ermöglicht die effiziente Verarbeitung großer, mehrspuriger Audiodaten und unterstützt damit die Entwicklung von SLMs, die in Echtzeit mit mehreren Sprechern interagieren können.