OpenApps: Testet UI-Agenten unter variierenden App-Umgebungen

Die Zuverlässigkeit von autonomen UI‑Agenten ist entscheidend, damit Nutzer ihnen vertrauen können. Bisher werden Agenten meist in festen, oft geklonten Apps getestet, was nur begrenzte Einblicke in ihre Leistungsfähigkeit in der Praxis bietet. Agenten treffen im Einsatz auf unterschiedliche App‑Designs und Inhalte, die ihre Fähigkeit zur Aufgabenerfüllung stark beeinflussen können.

Um diesen Blindspot zu schließen, hat ein Forschungsteam OpenApps entwickelt – ein leichtgewichtiges, quelloffenes Ökosystem mit sechs konfigurierbaren Apps (Messenger, Kalender, Karten usw.). OpenApps läuft auf einem einzigen CPU-Kern, sodass tausende Versionen jeder App schnell erzeugt und eingesetzt werden können.

In einer umfangreichen Studie wurden über 10.000 unabhängige Tests durchgeführt, um die Zuverlässigkeit von sieben führenden multimodalen Agenten zu untersuchen. Während die Erfolgsraten in einer festen App relativ stabil blieben, schwankten sie bei variierenden App‑Versionen drastisch – oft um mehr als 50 %. Ein Beispiel: Der Agent Kimi‑VL‑3B erzielte in einer App-Version durchschnittlich 63 % Erfolg, in einer anderen nur 4 %.

Darüber hinaus zeigte die Analyse, dass Verhaltensweisen wie endloses Schleifen oder das Erfinden von Aktionen stark von der jeweiligen App‑Konfiguration abhängen. OpenApps liefert damit ein wertvolles Werkzeug, um die Robustheit von UI‑Agenten unter realistischen Bedingungen zu messen und zu verbessern.