CuES: Neugiergesteuertes Synthese-Framework für agentisches RL

In der rasanten Entwicklung von Sprachmodell-basierten Agenten, die in komplexen, tool-unterstützten Umgebungen eingesetzt werden, stellt die Verfügbarkeit strukturierter Trainingsaufgaben einen entscheidenden Engpass dar. Dieses Problem, das als „Task Scarcity“ bezeichnet wird, hemmt die Skalierbarkeit von agentischem Reinforcement Learning, weil herkömmliche Ansätze auf vorab definierte Aufgabensets angewiesen sind – ein Ansatz, der in neuen Umgebungen mit unbekannten Tool-Semantiken versagt.

Um diese Herausforderung zu überwinden, definiert die neue Arbeit das Problem der Task‑Generierung für agentisches RL: ein Agent muss in einer Umgebung ohne vordefinierte Aufgaben lernen. Das vorgeschlagene CuES‑Framework (Curiosity‑driven and Environment‑grounded Synthesis) erzeugt eigenständig vielfältige, ausführbare und sinnvolle Aufgaben direkt aus der Struktur und den Affordanzen der Umgebung. Dabei setzt CuES auf intrinsische Neugier, um die Exploration zu steuern, abstrahiert Interaktionsmuster zu wiederverwendbaren Aufgabenschemata und verfeinert diese durch leichtgewichtige Top‑Down‑Anleitung sowie ein speicherbasiertes Qualitätskontrollsystem.

In drei repräsentativen Testumgebungen – AppWorld, BFCL und WebShop – demonstriert CuES, dass die generierten Aufgabenverteilungen in Bezug auf Vielfalt und Ausführbarkeit mit manuell kuratierten Datensätzen gleichwertig oder sogar überlegen sind. Diese Verbesserungen führen zu signifikanten Fortschritten bei nachgelagerten Policies, was die Wirksamkeit eines neugierigen, umgebungsgesteuerten Ansatzes für die Skalierung von agentischem RL unterstreicht.