KI-Planungsrahmen für webbasierte LLM-Agenten

Ein neues KI-Planungsframework für webbasierte LLM-Agenten wurde auf arXiv veröffentlicht. Das Papier adressiert die zentrale Herausforderung, autonome Agenten für Webaufgaben zu entwickeln, und zeigt auf, wie große Sprachmodelle (LLM) komplexe Nutzeranfragen verstehen, aber oft als Black‑Boxen agieren, was Fehlersuche erschwert.

Um dieses Problem zu lösen, wird ein formales Modell vorgestellt, das Webaufgaben als sequentielle Entscheidungsprozesse behandelt. Das Framework führt eine Taxonomie ein, die moderne Agentenarchitekturen mit klassischen Planungsparadigmen verknüpft: Step‑by‑Step-Agenten entsprechen der Breitensuche (BFS), Tree‑Search-Agenten der Best‑First‑Tree‑Search und Full‑Plan‑in‑Advance-Agenten der Tiefensuche (DFS). Diese Zuordnung ermöglicht eine systematische Diagnose von Ausfällen wie Kontextverschiebungen und inkohärente Aufgabenzerlegung.

Zur Bewertung dieser Verhaltensweisen werden fünf neue Metriken vorgeschlagen, die die Qualität von Trajektorien über reine Erfolgsraten hinaus messen. Die Autoren unterstützen ihre Analyse mit einem neuen Datensatz von 794 menschlich gelabelten Trajektorien aus dem WebArena-Benchmark.

Abschließend wird das Evaluationsframework anhand eines Vergleichs zwischen einem Basis‑Step‑by‑Step-Agenten und einer neu entwickelten Full‑Plan‑in‑Advance-Implementierung validiert. Die Ergebnisse zeigen, dass der Step‑by‑Step-Agent besser mit menschlichen Gold‑Trajektorien übereinstimmt (38 % Gesamterfolg), während der Full‑Plan‑in‑Advance-Agent in technischen Kennzahlen wie Elementgenauigkeit (89 %) herausragt. Diese Befunde unterstreichen die Notwendigkeit der vorgeschlagenen Metriken, um die passende Agentenarchitektur je nach Anwendungskontext auszuwählen.