ATANT: Neues Evaluations-Framework für Kontinuität in KI-Systemen

Die KI-Forschung erhält mit ATANT (Automated Test for Acceptance of Narrative Truth) ein neues, offenes Werkzeug, um die Kontinuität von KI-Systemen zu messen. Kontinuität bedeutet dabei, dass ein System Informationen über die Zeit hinweg beibehalten, aktualisieren, eindeutig zuordnen und sinnvoll rekonstruieren kann.

Obwohl die Branche bereits Speicherlösungen wie RAG-Pipelines, Vektordatenbanken, lange Kontextfenster und Profilschichten entwickelt hat, fehlt bislang ein formales Kriterium, das überprüft, ob diese Komponenten echte Kontinuität erzeugen. ATANT definiert Kontinuität als Systemeigenschaft mit sieben zwingenden Merkmalen und bietet eine zehnstufige Evaluationsmethode, die ohne Einsatz eines großen Sprachmodells auskommt.

Das Framework nutzt einen umfangreichen Testkorpus aus 250 Erzählungen, die 1 835 Verifizierungsfragen in sechs Lebensbereichen abdecken. In fünf Testdurchläufen zeigte eine Referenzimplementierung einen deutlichen Fortschritt: von 58 % bei einer Legacy-Architektur auf 100 % im isolierten Modus, 100 % bei 50 Geschichten im kumulativen Modus und 96 % bei 250 Geschichten im kumulativen Modus. Der kumulative Score ist dabei die Hauptmessgröße: wenn 250 unterschiedliche Lebensgeschichten gleichzeitig in einer Datenbank gespeichert sind, muss das System die korrekte Tatsache im richtigen Kontext ohne Kreuzkontamination abrufen können.

ATANT ist modellunabhängig und systemagnostisch und dient als sequenzierte Methodik zum Aufbau und zur Validierung von Kontinuitätslösungen. Die Spezifikation, Beispielgeschichten und das Evaluierungsprotokoll sind auf GitHub verfügbar. Der komplette 250‑Geschichten‑Korpus wird schrittweise veröffentlicht.