LLM-Agenten meistern Tool-Umgebungen dank Entropie-gesteuerter Suche

Die neuesten Fortschritte bei großen Sprachmodellen (LLMs) haben die Entwicklung von tool-gestützten Agenten stark vorangetrieben. Trotz dieser Erfolge bleibt die Ausführung mehrstufiger Aufgaben in riesigen Tool-Bibliotheken ein zentrales Problem. Zwei Hauptengpässe hemmen die Fortschritte: Erstens fehlt ein rigoroses, planorientiertes Bewertungssystem, und zweitens erfordert die Erkundung der enormen Entscheidungsräume enorme Rechenressourcen.

Um diese Herausforderungen zu adressieren, wurde SLATE – ein umfangreiches, kontextsensitives Benchmark-Set – vorgestellt. SLATE ermöglicht die automatisierte Bewertung von Agenten, die APIs nutzen, und deckt dabei vielfältige, aber funktional korrekte Ausführungspfade auf. Die Analyse zeigte, dass aktuelle Agenten Schwierigkeiten haben, sich selbst zu korrigieren und effizient zu suchen.

Auf Basis dieser Erkenntnisse wurde Entropy-Guided Branching (EGB) entwickelt. EGB ist ein Unsicherheits-bewusster Suchalgorithmus, der Entscheidungszweige dynamisch erweitert, wenn die vorhergesagte Entropie hoch ist. Durch die Optimierung des Exploration-Exploitation-Balance steigert EGB sowohl die Erfolgsraten bei Aufgaben als auch die Rechenleistung.

Umfangreiche Experimente auf dem SLATE-Benchmark belegen, dass die Kombination aus SLATE und EGB eine solide Grundlage für die Entwicklung zuverlässiger und skalierbarer LLM-Agenten in toolreichen Umgebungen bildet.