Benchmark testet Robustheit agentischer Systeme gegen böswillige Angriffe
Ein neues arXiv‑Paper untersucht die Sicherheit von LLM‑basierten agentischen Systemen, die unter Angriffen gefährliche Handlungen ausführen können.
Die Autoren stellen die BAD‑ACTS‑Benchmark vor, die vier unterschiedliche Implementierungen von Agenten in verschiedenen Anwendungsumgebungen sowie ein Datenset aus 188 hochwertigen Beispielen von schädlichen Aktionen umfasst.
Mit diesem Benchmark wird die Robustheit der Systeme gegen Angriffe getestet, bei denen ein einzelner Agent kontrolliert wird, um andere Agenten zu manipulieren und ein schädliches Ziel zu erreichen.
Die Ergebnisse zeigen, dass der Angriff eine hohe Erfolgsrate erzielt, selbst wenn die Agenten eine einfache promptbasierte Verteidigungsstrategie einsetzen.
Daraufhin wird eine effektivere Verteidigung vorgeschlagen, die auf der Überwachung von Nachrichten basiert.
Die Benchmark ist auf GitHub verfügbar unter https://github.com/JNoet.