Selbstentwickelnde MCP‑GUI-Agenten: Automatisierte Umgebungsgenerierung & Lernen

In einer neuen Studie von arXiv wird ein innovativer Ansatz vorgestellt, der Computer‑Agenten ermöglicht, Aufgaben sowohl über grafische Benutzeroberflächen als auch über strukturierte API‑Aufrufe zu erledigen. Durch das Model Context Protocol (MCP) können die Agenten die Vorteile beider Modalitäten gezielt kombinieren.

Die Autoren formulieren das Zusammenspiel von MCP und GUI als ein einheitliches Hybrid‑Policy‑Learning‑Problem. Dabei lernen die Agenten, wann die API‑Calls oder die GUI‑Interaktion jeweils den größten Nutzen bringen. Besonders interessant ist die Erkenntnis, dass Distillation und Erfahrungserweiterung unterschiedliche Fehlerquellen adressieren und daher applikationsspezifisch ausgewählt werden müssen.

Auf dieser Basis wird ein vollständig automatisierter, selbstentwickelnder Rahmenwerk vorgestellt. Der Pipeline‑Prozess umfasst die automatische Generierung und Validierung von Umgebungen, das Sammeln von Trajektorien, die synthetische Erzeugung von Aufgaben basierend auf Lückenanalyse sowie eine qualitätsgefilterte Trainingsphase – alles ohne manuelle Eingriffe.

Ein zentrales Merkmal ist die sogenannte Experience‑Bank. Sie speichert aus Trajektorien abgeleitete Regeln, die von großen Sprachmodellen gelernt wurden. Dadurch können Agenten zur Laufzeit verbessert werden, ohne dass ein erneutes Fine‑Tuning erforderlich ist.

Eine systematische Analyse über drei Desktop‑Anwendungen hinweg zeigt, dass die optimale Strategie stark von der Zusammensetzung von MCP und GUI abhängt. Distillation erzielt einen Pass‑Rate von 77,8 % bei MCP‑dominanten Aufgaben – ein Plus von 17,8 pp – während die Experience‑Bank bei GUI‑intensiven Aufgaben um 10,0 pp besser abschneidet.