MASEval: Bewertung von Multi-Agenten-Systemen – Frameworks zählen genauso wie Modelle

Die rasante Verbreitung von LLM‑basierten Agentensystemen hat ein vielfältiges Ökosystem an Frameworks hervorgebracht – von smolagents über LangGraph bis hin zu AutoGen, CAMEL und LlamaIndex. Trotz dieser Vielfalt bleiben die meisten Benchmarks modellzentriert: Sie fixieren die Agentenarchitektur und vergleichen nicht, wie unterschiedliche Systemkomponenten die Leistung beeinflussen.

MASEval schließt diese Lücke, indem es ein framework‑agnostisches Tool bereitstellt, das das gesamte System als Analyseobjekt betrachtet. Dabei werden Entscheidungen wie Netzwerk‑Topologie, Orchestrierungslogik und Fehlerbehandlung – Faktoren, die den Erfolg eines Agentensystems maßgeblich bestimmen – systematisch bewertet.

In einer vergleichenden Studie, die drei Benchmarks, drei Modelle und drei Frameworks einbezog, zeigte MASEval, dass die Wahl des Frameworks genauso entscheidend ist wie die Wahl des Modells. Diese Erkenntnis eröffnet Forschern neue Möglichkeiten für prinzipiell fundiertes Systemdesign und ermöglicht Praktikern, die optimale Implementierung für ihren Anwendungsfall zu identifizieren.

MASEval steht unter der MIT‑Lizenz zur Verfügung und kann unter https://github.com/parameterlab/MASEval heruntergeladen werden.