SAGE: Neuer Benchmark für Service-Agenten mit Graph-basierter Bewertung

Die rasante Entwicklung großer Sprachmodelle (LLMs) hat die Automatisierung im Kundenservice vorangetrieben, doch die Bewertung ihrer Leistungsfähigkeit bleibt bislang schwierig. Traditionelle Benchmarks setzen auf starre Testumgebungen und einseitige Kennzahlen, die weder die Vielfalt der Nutzerinteraktionen noch die strenge Einhaltung von Standardarbeitsanweisungen (SOPs) in realen Anwendungen berücksichtigen.

Um diese Lücke zu schließen, stellt das Forschungsteam SAGE (Service Agent Graph-guided Evaluation) vor – einen universellen, Multi-Agenten-Benchmark, der Service-Agenten anhand zweier Achsen bewertet. Durch die Umwandlung unstrukturierter SOPs in dynamische Dialoggraphen kann SAGE die logische Übereinstimmung und die vollständige Pfadabdeckung präzise prüfen. Ergänzt wird das System durch eine Adversarial Intent Taxonomy und ein modulares Extension Mechanism, die eine kostengünstige Implementierung in verschiedenen Domänen ermöglichen und die automatische Generierung von Dialogdaten unterstützen.

Die Bewertung erfolgt über ein Framework, in dem Judge Agents und ein Regel-Engine die Interaktionen zwischen Nutzer und Service-Agenten analysieren, um deterministische Ground-Truth-Daten zu erzeugen. In umfangreichen Tests mit 27 LLMs über sechs industrielle Szenarien zeigte sich ein deutlicher „Execution Gap“: Die Modelle erkennen Intentionen korrekt, scheitern jedoch bei der Ableitung der richtigen Folgeaktionen. Gleichzeitig wurde ein Phänomen namens „Empathy Resilience“ beobachtet, bei dem die Modelle trotz logischer Fehler weiterhin höflich wirken, insbesondere bei hoher adversarialer Intensität.

Alle Code‑ und Ressourcendateien sind unter https://anonymous.4open.science/r/SAGE-Bench-4CD3/ verfügbar, sodass Forscher und Entwickler die Benchmark leicht in ihre Projekte integrieren können.