RiskWebWorld: Benchmark für GUI-Agenten im E‑Commerce‑Risiko-Management

Die neue Studie von RiskWebWorld eröffnet ein völlig neues Feld für die Bewertung von GUI-Agenten in hochkomplexen, risikoreichen E‑Commerce‑Umgebungen. Während bisherige Benchmarks vor allem auf vorhersehbare, consumer‑orientierte Aufgaben abzielen, stellt RiskWebWorld 1 513 realistische Aufgaben aus acht Kernbereichen echter Produktions‑Risk‑Control‑Pipelines bereit.

Die Aufgaben spiegeln die echten Herausforderungen wider, die bei der Risikoanalyse von unkooperativen Websites auftreten – von teilweise übernommenen Umgebungen bis hin zu dynamischen Interaktionen, die menschliche Expertise erfordern. Um die Skalierbarkeit und die Entwicklung von Agenten zu fördern, wurde eine Gymnasium‑kompatible Infrastruktur geschaffen, die die Planung von Agenten von den Mechaniken der Umgebung trennt.

Die Evaluation zeigt einen deutlichen Fähigkeitsunterschied: Top‑Generalisten erreichen 49,1 % Erfolgsrate, während spezialisierte Open‑Weights‑GUI‑Modelle nahezu komplett scheitern. Das Ergebnis unterstreicht, dass die Größe von Foundation‑Modellen derzeit wichtiger ist als die reine Zero‑Shot‑Schnittstellen‑Verständnisfähigkeit bei langanhaltenden, professionellen Aufgaben.

Darüber hinaus demonstriert die Studie die Wirksamkeit von agentischem Reinforcement Learning: Durch gezieltes Training konnten Open‑Source‑Modelle um 16,2 % verbessert werden. Diese Fortschritte positionieren RiskWebWorld als praxisnahes Testbett für die Entwicklung robuster digitaler Arbeitskräfte.