Skalierbare, leichte GUI-Agenten durch Multi-Role-Orchestrierung

Ein neues arXiv-Papier präsentiert einen Ansatz, mit dem autonome GUI-Agenten, die von multimodalen großen Sprachmodellen (MLLMs) angetrieben werden, auf ressourcenbeschränkten Endgeräten effizient eingesetzt werden können. Trotz der Fortschritte bei der Skalierung von Parametern und Daten bleiben die Deployment-Kosten für komplexe, reale Szenarien hoch.

Die Autoren zeigen, dass leichte GUI-Agenten in der Praxis durch begrenzte Kapazität und mangelnde Aufgaben‑Skalierbarkeit behindert werden. Dies erschwert die Integration in Multi‑Agent‑Systeme (MAS) und macht die Schulung mehrerer fachspezifischer Experten teuer.

Um dieses Kosten‑Skalierbarkeitsproblem zu lösen, stellen sie das LAMO‑Framework vor. Es verleiht einem schlanken MLLM gezieltes GUI‑Wissen und ermöglicht gleichzeitig eine erweiterbare Aufgaben‑Skalierbarkeit durch Multi‑Role‑Orchestrierung.

Das Framework kombiniert rollenorientierte Datensynthese mit einem zweistufigen Trainingsverfahren: Erst wird das Modell mit Perplexity‑Weighted Cross‑Entropy feinjustiert, um Wissen zu distillieren und die visuelle Wahrnehmung zu verbessern. Anschließend erfolgt ein Reinforcement‑Learning‑Schritt, der kooperative Exploration zwischen Rollen fördert.

Das Ergebnis ist LAMO‑3B, ein task‑skalierbarer, nativer GUI-Agent, der sowohl monolithische Ausführungen als auch MAS‑Stil‑Orchestrierung unterstützt. In Verbindung mit fortschrittlichen Planern kann LAMO‑3B kontinuierlich von neuen Planern profitieren und so die Leistungsgrenze weiter erhöhen.

Der Ansatz eröffnet neue Möglichkeiten für die digitale Automatisierung auf End‑User‑Geräten und könnte die Entwicklung von ressourcenschonenden, hochflexiblen GUI-Agenten maßgeblich vorantreiben.