Neues Framework steigert Langzeitplanung von LLM-Agenten um 10 %

In der Welt der künstlichen Intelligenz haben sich große Sprachmodelle (LLMs) zu leistungsstarken autonomen Agenten entwickelt, die digitale Umgebungen wie mobile Interfaces, Betriebssysteme und Webbrowser steuern können. Besonders bei der Webnavigation, wo dynamische Inhalte und lange Aktionsketten zu bewältigen sind, stoßen bestehende LLM-Agenten jedoch an ihre Grenzen. Sie verlieren häufig den Überblick, wenn neue Informationen auftauchen, und können bei der Verstärkungslern‑Optimierung nicht zuverlässig erkennen, welche Schritte zum Erfolg führen.

Um diese Schwächen zu beheben, stellen die Autoren ein zweistufiges Konzept vor. Erstens wird ein Agenten‑Framework eingeführt, das proprietäre Modelle für die Online‑Planung nutzt und dabei Aufgaben in Teilziele (Subgoals) zerlegt. Zweitens wird MiRA (Milestoning your Reinforcement Learning Enhanced Agent) vorgestellt, ein RL‑Trainingsframework, das dichte, Meilenstein‑basierte Belohnungen verwendet, um die Lernschwierigkeiten bei spärlichen und verzögerten Rückmeldungen zu überwinden.

Die Ergebnisse sind beeindruckend: Durch die Echtzeit‑Planung steigt die Erfolgsrate des proprietären Gemini-Modells um etwa 10 % auf dem WebArena‑Lite‑Benchmark. Für das Open‑Source‑Modell Gemma3‑12B führt MiRA die Erfolgsrate von 6,4 % auf 43,0 % an – ein deutliches Übertreffen der kommerziellen Systeme GPT‑4‑Turbo (17,6 %) und GPT‑4o (13,9 %) sowie des bisherigen Open‑Source‑Standards WebRL (38,4 %).

Diese Fortschritte markieren einen bedeutenden Schritt in Richtung zuverlässiger, langfristiger Planung bei LLM‑Agenten und eröffnen neue Möglichkeiten für die Anwendung von KI in komplexen, dynamischen digitalen Umgebungen.