SEA‑Eval: Benchmark für selbstentwickelnde Agenten über Episoden hinaus

Die neuesten LLM‑basierten Agenten glänzen bei einzelnen Aufgaben, bleiben jedoch durch starre Werkzeugsets und episodisches Vergessen in ihrer Weiterentwicklung eingeschränkt. Das neue SEA‑Paradigma – Self‑Evolving Agent – verspricht, diese Grenzen zu überwinden, indem Agenten kontinuierlich aus Erfahrungen lernen und ihre Strategien über Aufgaben hinweg optimieren.

In dem veröffentlichten Papier wird SEA neu definiert, wobei der Fokus auf digitaler Verkörperung und fortlaufender evolutionärer Entwicklung liegt. Darauf aufbauend präsentiert die Arbeit SEA‑Eval, das erste Benchmark‑Set, das die Leistungsfähigkeit von SEA‑Agenten in zwei Dimensionen misst: die Zuverlässigkeit bei einzelnen Aufgaben und die langfristige evolutionäre Performance.

SEA‑Eval strukturiert Aufgaben in sequentielle Streams und analysiert dabei Erfolgsrate und Tokenverbrauch im Zeitverlauf. So lässt sich evolutionärer Gewinn und strukturelle Stabilität quantifizieren – etwas, das herkömmliche episodische Benchmarks nicht leisten. Die Ergebnisse zeigen einen deutlichen Engpass: Während aktuelle Spitzenframeworks ähnliche Erfolgsraten erzielen, variieren Tokenverbrauch und evolutionäre Pfade um bis zu 31,2‑fach.

Mit SEA‑Eval erhält die Forschung ein robustes, wissenschaftliches Fundament, um Agenten von reinen Aufgabenlösern zu echten, sich selbst entwickelnden digitalen Wesen zu transformieren.