DR$^{3}$-Eval: Realistische Benchmark für Deep Research Agents

Deep Research Agents (DRAs) sollen komplexe, langfristige Forschungsaufgaben lösen, indem sie Planung, Abruf, multimodales Verständnis und Berichtserstellung kombinieren. Doch die Bewertung dieser Agenten gestaltet sich schwierig, weil sie in dynamischen Webumgebungen arbeiten und die Aufgaben oft mehrdeutig definiert sind.

Mit DR$^{3}$-Eval stellen wir einen realistischen und reproduzierbaren Benchmark vor, der die Leistung von Deep Research Agents bei multimodaler, mehrdateiger Berichtserstellung misst. Der Test besteht aus echten, von Nutzern bereitgestellten Materialien und einem zugehörigen statischen Forschungs‑Sandbox‑Korpus, der die Komplexität des offenen Webs simuliert, aber vollständig überprüfbar bleibt. Der Korpus enthält unterstützende Dokumente, Ablenkungen und Rauschen.

Zur Bewertung haben wir ein mehrdimensionales Framework entwickelt, das Informationsrückgewinnung, Faktengenauigkeit, Zitierabdeckung, Befolgen von Anweisungen und Tiefenqualität erfasst. Wir haben die Übereinstimmung dieser Metriken mit menschlichen Urteilen validiert, sodass die Ergebnisse sowohl technisch als auch menschlich nachvollziehbar sind.

In Experimenten mit unserem Multi‑Agenten‑System DR$^{3}$-Agent, das mehrere moderne Sprachmodelle nutzt, zeigte sich, dass DR$^{3}$-Eval eine hohe Herausforderung darstellt und kritische Schwachstellen in der Abrufrobustheit und der Kontrolle von Halluzinationen aufdeckt. Der gesamte Code und die Daten sind öffentlich zugänglich, sodass die Forschungsgemeinschaft die Benchmark nutzen und weiterentwickeln kann.