Effiziente Trainingspipeline für multimodale GUI-Agenten

In der Welt der grafischen Benutzeroberflächen (GUI) ist die Fähigkeit, Bildregionen anhand natürlicher Sprachabfragen zu lokalisieren, entscheidend für intelligente, reasoningfähige Agenten. Traditionell stützen sich viele Ansätze auf riesige, oft verrauschte synthetische Datensätze, die viel Rechenleistung erfordern.

Die neue Studie präsentiert eine schlanke Trainingspipeline, die Modell-basierte Datenfilterung mit parameter-effizientem Fine‑Tuning kombiniert. Aus 4,8 Millionen synthetischen Beispielen werden zunächst herausfordernde Fälle identifiziert, fehlerhafte und nicht ausgerichtete Daten entfernt und anschließend ein vielfältiges Set von multimodalen Instanzen ausgewählt. Das Ergebnis: 12.000 sorgfältig kuratierte, saubere Beispiele.

Auf dieser hochwertigen Basis wird ein 3‑Billionen‑Parameter Vision‑Language‑Modell in drei Varianten trainiert: klassisches Supervised Fine‑Tuning, Chain‑of‑Thought‑Augmented Fine‑Tuning und Reinforcement Learning mittels Group Relative Policy Optimization. Trotz der kompakteren Datenmenge und leichten Trainingsstrategien übertreffen die Modelle die größeren Baselines auf Benchmarks wie ScreenSpot, Multimodal‑Mind2Web und AndroidControl.

Diese Ergebnisse zeigen, dass gezielte Datenkuratierung und robuste Anpassungsmethoden das große Training in Frage stellen können. Damit wird ein Weg geebnet, leistungsfähige multimodale Reasoning‑Agenten mit geringeren Ressourcen zu entwickeln.