A-R-Analyse: Wie Sprachmodelle Tool-Operationen in Unternehmen ausführen

Moderne Sprachmodelle werden zunehmend als tool‑unterstützte Agenten eingesetzt, die komplexe Systemaufgaben ausführen können. Trotz dieser Fortschritte konzentrieren sich die meisten Benchmarks bislang auf Textausrichtung oder reine Aufgabenerfolge, während die Verbindung zwischen sprachlichen Signalen und tatsächlichem Verhalten unter unterschiedlichen Autonomie‑Stufen kaum untersucht wurde.

Um dieses Forschungslücke zu schließen, präsentiert die Studie einen neuen Ansatz zur Messung von Verhalten auf Ausführungsebene. Dabei wird ein zweidimensionales A‑R‑Raummodell eingeführt, das die Action Rate (A) – die Häufigkeit von Ausführungen – und das Refusal Signal (R) – die Ablehnungsrate – abbildet. Zusätzlich wird die Divergenz (D) genutzt, um die Koordination zwischen diesen beiden Dimensionen zu erfassen.

Die Modelle werden in vier normativen Regimen getestet: Control, Gray, Dilemma und Malicious. Für jede Norm werden drei Autonomie‑Konfigurationen evaluiert: direkte Ausführung, Planung und Reflexion. Anstatt aggregierte Sicherheitswerte zu vergeben, analysiert die Methode, wie sich Ausführung und Ablehnung je nach Kontext und Scaffold‑Tiefe verteilen.

Die Ergebnisse zeigen, dass Ausführung und Ablehnung als getrennte Verhaltensdimensionen existieren und ihre gemeinsame Verteilung systematisch zwischen den Regimen und Autonomie‑Levels variiert. Besonders bei reflexionsbasierten Scaffolds verschiebt sich das Verhalten häufig hin zu höherer Ablehnung in risikoreichen Situationen, wobei die Muster je nach Modell unterschiedlich sind.

Durch die A‑R‑Darstellung lassen sich nun übersichtlich Querschnitts‑Profilen, scaffold‑induzierten Übergänge und Koordinationsvariabilität visualisieren. Dieser Ansatz bietet einen praxisorientierten Blick auf die Analyse und Auswahl von tool‑unterstützten Sprachmodellen für den Einsatz in Organisationen und trägt damit zur sicheren und effektiven Integration dieser Technologie bei.