LLM-Agenten: Unsichtbare Regelverstöße und neue Prüfungs-Frameworks

In der Welt der großen Sprachmodelle (LLM) taucht ein bislang wenig beachtetes Problem auf: Agenten können zwar syntaktisch korrekte, vom Nutzer genehmigte und semantisch passende Aktionen ausführen, dabei aber dennoch gegen Unternehmensrichtlinien verstoßen, weil die entscheidenden Fakten zu diesem Zeitpunkt nicht im Sichtbereich des Agenten liegen. Solche „policy‑invisible violations“ entstehen, wenn die Einhaltung von Regeln von Attributen der beteiligten Entitäten, dem aktuellen Kontext oder der Sitzungs­historie abhängt, die dem Agenten nicht zugänglich sind.

Um dieses Phänomen systematisch zu untersuchen, wurde das Benchmark‑Set PhantomPolicy entwickelt. Es umfasst acht verschiedene Verstöße und balanciert sowohl problematische als auch sichere Fälle. Alle Tool‑Antworten enthalten ausschließlich saubere Geschäftsdaten ohne explizite Richtlinien‑Metadaten, sodass die Agenten nur mit den sichtbaren Informationen arbeiten können.

Bei einer manuellen Durchsicht von 600 Modell‑Spuren, die von fünf führenden LLM‑Modellen erzeugt wurden, wurden 32 Etiketten – das entspricht 5,3 % der ursprünglichen Anmerkungen – geändert. Dieser Unterschied unterstreicht die Notwendigkeit einer feingranularen, trace‑basierten menschlichen Kontrolle, um die Genauigkeit der Bewertung sicherzustellen.

Zur Überwindung dieser Schwachstelle wurde das Enforcement‑Framework Sentinel vorgestellt. Sentinel betrachtet jede Agentenaktion als vorgeschlagene Mutation eines organisationsinternen Wissensgraphen, führt eine spekulative Ausführung durch, um den zukünftigen Weltzustand zu materialisieren, und prüft anschließend graphstrukturbezogene Invarianten, um zu entscheiden, ob die Aktion erlaubt, blockiert oder geklärt werden soll. Im Vergleich zu einem rein inhaltlichen DLP‑Baseline‑System erreichte Sentinel eine Genauigkeit von 93,0 % gegenüber 68,8 % und behielt dabei eine hohe Präzision bei, obwohl noch Verbesserungsbedarf in bestimmten Verstöße‑Kategorien besteht.

Die Ergebnisse zeigen, dass ein auf Weltzustand basierendes Prüfverfahren die Sicherheit von LLM‑basierten Agenten deutlich erhöhen kann. Gleichzeitig verdeutlichen sie die Bedeutung einer sorgfältigen, trace‑basierten menschlichen Überprüfung, um die Zuverlässigkeit von KI‑gestützten Entscheidungsprozessen zu gewährleisten.