ToolSelf: Agenten lernen, sich selbst zu konfigurieren – neue LLM-Strategie
Agenten, die von großen Sprachmodellen angetrieben werden, haben bereits beeindruckende Fortschritte bei komplexen Aufgaben erzielt. Ihre Leistung bleibt jedoch stark von vorab festgelegten, unveränderlichen Konfigurationen abhängig, die sich während der Ausführung nicht anpassen können.
ToolSelf löst dieses Problem, indem es Konfigurationsänderungen als ausführbare Werkzeuge abstrahiert. Dadurch verschmelzen die Aktionen zur Aufgabenausführung und zur Selbstanpassung zu einem einheitlichen Aktionsraum. Agenten können ihre Zwischenschritte, ihren Kontext und ihre Strategien dynamisch aktualisieren und werden so zu eigenständigen Managern ihrer eigenen Arbeitsweise.
Zur Vermittlung dieser Meta-Fähigkeit kombiniert ToolSelf ein zweistufiges Training namens Configuration‑Aware Two‑Stage Training (CAT). Zunächst wird mit Ablehnungs‑Sampling feinjustiert, anschließend erfolgt eine Trajektorien‑basierte Verstärkungslernen‑Phase, die die Selbst‑Konfigurationskompetenz internisiert.
Umfangreiche Tests auf unterschiedlichen Benchmarks zeigen, dass ToolSelf nicht nur mit spezialisierten Workflows konkurriert, sondern auch neue Aufgaben übergreifend generalisiert. Die durchschnittliche Leistungssteigerung beträgt 24,1 % und demonstriert, dass Agenten künftig eigenständig sowohl ihre Aufgaben als auch ihre eigenen Parameter steuern können.