LiveClawBench: Neue Benchmark für LLM-Agenten in komplexen Assistenzaufgaben

Mit der wachsenden Verbreitung von LLM‑basierten Agenten in realen Assistenzaufgaben stellt sich die Frage, wie gut diese Systeme unter den vielfältigen Bedingungen des Alltags funktionieren. Traditionelle Benchmarks prüfen sie meist in isolierten Szenarien – etwa in einer einzigen Umgebung oder mit vollständig vorgegebenen Anweisungen. LiveClawBench soll diese Lücke schließen und Agenten in einer Umgebung testen, die den tatsächlichen Einsatzbedingungen näherkommt.

Das Herzstück von LiveClawBench ist das Triple‑Axis Complexity Framework, das die Schwierigkeit von Aufgaben entlang drei Dimensionen beschreibt: die Komplexität der Umgebung, die kognitive Belastung und die Anpassungsfähigkeit während der Laufzeit. Durch diese dreidimensionale Sichtweise lassen sich Aufgaben differenzierter bewerten und gezielter herausfordern.

Auf Basis einer Analyse realer OpenClaw‑Nutzungsszenarien wurde ein Pilotbenchmark entwickelt, der Aufgaben mit expliziten Komplexitätsmerkmalen enthält. Die Aufgaben sind so zusammengesetzt, dass sie die drei Achsen gleichzeitig fordern und damit ein realistisches Bild der Leistungsfähigkeit von LLM‑Agenten liefern.

LiveClawBench bietet damit eine solide Grundlage für die Bewertung von Agenten in praxisnahen Assistenzumgebungen und schafft die Basis für zukünftige Erweiterungen über weitere Aufgabenbereiche und Komplexitätsachsen hinweg. Die Sammlung von Fallstudien wird kontinuierlich erweitert, um eine noch umfassendere Abdeckung zu erreichen. Weitere Informationen und den aktuellen Stand finden Sie auf der Projektseite unter https://github.com/Mosi-AI/LiveClawBench.