TrustBench: Echtzeit-Verifizierung von Agenten für sichere Aktionen

Mit der rasanten Weiterentwicklung großer Sprachmodelle von reinen Chatbots zu autonomen Agenten wird die Gewährleistung von Vertrauenswürdigkeit zu einer zentralen Herausforderung. Traditionelle Bewertungsansätze wie AgentBench prüfen lediglich die Aufgabenerfüllung, während Modelle wie TrustLLM und HELM die Qualität der generierten Inhalte nachträglich beurteilen. Doch sie verhindern keine schädlichen Handlungen während der Ausführung.

TrustBench stellt ein zweistufiges Framework vor, das Vertrauen in mehreren Dimensionen misst – sowohl mit klassischen Metriken als auch mit LLM-basierten Urteilsbewertungen – und gleichzeitig ein Toolset bereitstellt, das Agenten vor dem Ausführen ihrer Aktionen nutzen können, um Sicherheit und Zuverlässigkeit zu prüfen. Der entscheidende Unterschied liegt darin, dass TrustBench unmittelbar nach der Formulierung einer Aktion, aber noch vor ihrer Ausführung, eingreift.

Durch den Einsatz domänenspezifischer Plugins, die spezielle Sicherheitsanforderungen für Gesundheitswesen, Finanzen und technische Felder codieren, konnte TrustBench die Anzahl schädlicher Aktionen in verschiedenen Agentenaufgaben um 87 % reduzieren. Im Vergleich zu generischen Verifizierungen erzielten die Plugins eine um 35 % höhere Schadensreduktion. Mit einer Latenz von unter 200 Millisekunden ermöglicht TrustBench eine praktikable Echtzeit-Verifizierung für autonome Agenten.