Salesforce stellt VoiceAgentRAG vor: Router senkt RAG‑Latenz um 316‑fach

Salesforce AI Research hat mit VoiceAgentRAG einen bedeutenden Fortschritt für die Sprach‑KI angekündigt. Das neue System nutzt einen Dual‑Agent‑Memory‑Router, um die Antwortzeiten bei Retrieval‑Augmented‑Generation (RAG) drastisch zu verkürzen.

Im Bereich der Sprachassistenten ist die Reaktionszeit entscheidend: Während textbasierte RAG‑Systeme mehrere Sekunden „nachdenken“ dürfen, müssen Sprachagenten innerhalb von 200 Millisekunden antworten, um einen natürlichen Gesprächsfluss zu gewährleisten. Jede Millisekunde zählt, denn nur so bleibt die Interaktion flüssig und hilfreich.

VoiceAgentRAG reduziert die Latenz bei der RAG‑Abfrage um beeindruckende 316‑fach. Durch die Kombination zweier spezialisierter Agenten – einer für die schnelle Suche in großen Vektordatenbanken und einer für die effiziente Weiterleitung der Ergebnisse – wird die übliche Verzögerung, die bei herkömmlichen Produktionsabfragen entsteht, nahezu eliminiert.

Diese Leistungssteigerung bedeutet für Entwickler und Endnutzer, dass Sprachassistenten noch flüssiger und natürlicher reagieren können. Mit der drastisch verkürzten Antwortzeit eröffnet VoiceAgentRAG neue Möglichkeiten für komplexe, datenintensive Anwendungen, die bislang durch langsame Retrieval‑Schritte eingeschränkt waren.