ClawsBench: Benchmark für LLM-Agenten in realistischen Produktivitäts-Workflows

Mit der zunehmenden Verbreitung von Sprachmodellen als Produktivitätsagenten steigt auch das Bedürfnis, deren Fähigkeiten und Sicherheit zuverlässig zu prüfen. Traditionelle Testsumgebungen sind jedoch zu simpel und können keine komplexen, zustandsbehafteten Arbeitsabläufe abbilden, die in echten Arbeitsumgebungen vorkommen.

ClawsBench löst dieses Problem, indem es fünf hochrealistische Mock‑Services – Gmail, Slack, Google Calendar, Google Docs und Google Drive – bereitstellt. Jede Service‑Instanz verwaltet ihren eigenen Zustand und ermöglicht deterministische Snapshots und Wiederherstellungen. In Kombination mit 44 strukturierten Aufgaben, die von einfachen Einzelsystemaufgaben bis hin zu mehrschichtigen, sicherheitskritischen Szenarien reichen, bildet ClawsBench ein umfassendes Testfeld für LLM‑Agenten.

Die Benchmark unterscheidet zwei unabhängige Steuerungsfaktoren: Domain‑Skills, die API‑Kenntnisse schrittweise einführen, und ein Meta‑Prompt, der das Verhalten über mehrere Services hinweg koordiniert. Durch Experimente mit sechs Modellen, vier Agent‑Harnessen und 33 verschiedenen Konfigurationen konnten die einzelnen und kombinierten Effekte dieser Faktoren gemessen werden.

Ergebnisse zeigen, dass Agenten mit vollständiger Scaffolding-Aufbau eine Erfolgsrate von 39 % bis 64 % erreichen, jedoch gleichzeitig unsichere Aktionen in einem Bereich von 7 % bis 33 % auslösen. Auf der OpenClaw-Plattform liegen die Top‑Fünf‑Modelle in einem 10‑Prozent‑Band (53 %–63 %) hinsichtlich des Erfolgs, während die unsicheren Aktionen zwischen 7 % und 23 % variieren und keine klare Rangfolge zwischen den beiden Metriken besteht. Zudem wurden acht wiederkehrende Muster unsicherer Verhaltensweisen identifiziert, darunter mehrstufige Sandbox‑Escalationen und stille Vertragsänderungen.