Neues Markov-Modell prüft Zuverlässigkeit von Agenten‑AI vor Einsatz

In einer kürzlich veröffentlichten Studie auf arXiv wird ein neues, mathematisch fundiertes Markov‑Framework vorgestellt, das die Zuverlässigkeit und die Kosten für die Überwachung von agentischen Künstlichen Intelligenzen (KI) in Unternehmen vor deren Einsatz bewertet. Das Modell richtet sich an Organisationen, die KI‑Agenten in ihren Geschäftsprozessen einsetzen und dabei sowohl die technische Stabilität als auch die wirtschaftlichen Aufwendungen für die Kontrolle dieser Agenten berücksichtigen müssen.

Das Herzstück des Ansatzes sind vier zentrale Kennzahlen: die „State Blind‑Spot Mass“ (B_n(τ)), die die Menge an unbekannten Zuständen in einer gegebenen Zeitspanne misst; die „State‑Action Blind Mass“ (B^SA_{π,n}(τ)), die die Unsicherheit bei der Auswahl der nächsten Aktion quantifiziert; ein auf Entropie basierender Eskalationsschalter, der entscheidet, wann ein menschlicher Intervenierender eingreifen sollte; und die erwartete Überwachungskosten‑Identität, die die durchschnittlichen Kosten für die Beobachtung des Arbeitsablaufs erfasst. Diese Metriken ermöglichen es, die statistische Vertrauenswürdigkeit einer KI‑Entscheidungskette präzise zu bestimmen.

Um die Praxisnähe des Modells zu demonstrieren, wurde es auf dem Business Process Intelligence Challenge 2019‑Datensatz angewendet, der 251 734 Fälle und 1 595 923 Ereignisse aus dem „Purchase‑to‑Pay“-Prozess enthält. Durch die Aufteilung des Datensatzes in einen 80/20‑Trainings‑ und Test‑Split konnte ein simuliertes Agentenmodell erstellt werden. Die Analyse zeigte, dass ein großer Prozess zwar auf Zustandsbasis gut unterstützt wirkt, jedoch bei der nächsten Entscheidung noch erhebliche Blindmassen aufweist. Durch die Erweiterung des Zustandsraums von 42 auf 668 Dimensionen stieg die State‑Action Blind Mass von 0,0165 auf 0,1253, was die Notwendigkeit einer detaillierteren Kontextdarstellung unterstreicht. Auf dem Test‑Split korrelierte die maximale vorhergesagte Aktionswahrscheinlichkeit mit der tatsächlichen Genauigkeit autonomer Schritte innerhalb von 3,4 Prozentpunkten.

Diese Ergebnisse verdeutlichen, dass die vorgestellten Metriken nicht nur die statistische Glaubwürdigkeit von KI‑Autonomie bestimmen, sondern auch die wirtschaftlichen Aufwendungen für die Überwachung quantifizieren. Für Unternehmen bedeutet das, dass sie mit einem klaren, mathematischen Rahmenwerk fundierte Entscheidungen darüber treffen können, wann und wie viel Kontrolle sie über ihre KI‑Agenten ausüben müssen, bevor diese in kritische Geschäftsprozesse integriert werden.