NAAMSE: Evolutionäres Framework zur Sicherheitsbewertung von KI-Agenten

KI‑Agenten werden immer häufiger in produktiven Systemen eingesetzt, doch ihre Sicherheitsprüfung bleibt ein Engpass. Traditionelle Methoden wie manuelle Red‑Team‑Tests oder statische Benchmarks können adaptive, mehrstufige Angreifer nicht adäquat simulieren. Mit NAAMSE – einem evolutionären Ansatz zur Sicherheitsbewertung – wird das Problem neu formuliert: die Sicherheit von Agenten wird als feedback‑gestütztes Optimierungsproblem betrachtet.

Das System nutzt einen einzigen autonomen Agenten, der einen Lebenszyklus aus genetischer Prompt‑Mutation, hierarchischer Korpus‑Erkundung und asymmetrischer Verhaltensbewertung orchestriert. Durch die Nutzung der Modellantworten als Fitnesssignal werden effektive Angriffsstrategien schrittweise verstärkt, während gleichzeitig die „benign‑use‑Correctness“ gewahrt bleibt, um eine degenerate Sicherheit durch bloße Ablehnungen zu verhindern.

In Experimenten mit Gemini 2.5 Flash zeigte NAAMSE, dass evolutionäre Mutationen systematisch Schwachstellen aufdecken, die bei einmaligen Tests übersehen werden. Durch gezielte Mutationen in Kombination mit explorativen Durchsuchungen wurden hochgradige Fehlermodi identifiziert, die bisher nicht sichtbar waren. Diese adaptive Vorgehensweise liefert eine realistischere und skalierbarere Einschätzung der Robustheit von Agenten gegenüber sich wandelnden Bedrohungen.

Der Code für NAAMSE ist Open Source und unter https://github.com/HASHIRU-AI/NAAMSE verfügbar, sodass Entwickler und Forscher die Methode leicht übernehmen und weiterentwickeln können.