IntentScore: KI-basiertes Bewertungssystem steigert Erfolg von Agents
Computer‑Use Agents (CUAs) nutzen große Sprachmodelle, um grafische Benutzeroberflächen zu steuern. Dabei fehlt ihnen bislang ein Mechanismus zur Bewertung der erzeugten Aktionen, was zu irreversiblen Fehlern führt, die…
- Computer‑Use Agents (CUAs) nutzen große Sprachmodelle, um grafische Benutzeroberflächen zu steuern.
- Dabei fehlt ihnen bislang ein Mechanismus zur Bewertung der erzeugten Aktionen, was zu irreversiblen Fehlern führt, die sich in späteren Schritten fortsetzen.
- Mit IntentScore wird dieses Problem angegangen: ein plan‑bewusstes Belohnungsmodell, das aus 398 000 Offline‑GUI‑Interaktionen auf drei Betriebssystemen lernt.
Computer‑Use Agents (CUAs) nutzen große Sprachmodelle, um grafische Benutzeroberflächen zu steuern. Dabei fehlt ihnen bislang ein Mechanismus zur Bewertung der erzeugten Aktionen, was zu irreversiblen Fehlern führt, die sich in späteren Schritten fortsetzen. Mit IntentScore wird dieses Problem angegangen: ein plan‑bewusstes Belohnungsmodell, das aus 398 000 Offline‑GUI‑Interaktionen auf drei Betriebssystemen lernt.
IntentScore kombiniert zwei Lernziele: eine kontrastive Ausrichtung zur Bestimmung der Relevanz von Zustand und Aktion sowie ein Margin‑Ranking, das die Korrektheit der Aktionen bewertet. Durch die Einbettung des Plan‑Intents in den Aktionsencoder kann das Modell zwischen ähnlich aussehenden Aktionen mit unterschiedlichen Motiven unterscheiden.
Das Ergebnis ist beeindruckend: Auf einer hold‑out‑Evaluierung erreicht IntentScore eine Paarweise‑Diskriminierungsgenauigkeit von 97,5 %. In einer realen Anwendung als Re‑Ranker für Agent S3 im bislang unbekannten OSWorld-Umfeld erhöht es die Erfolgsrate um 6,9 Punkte. Damit demonstriert das System, dass Belohnungsabschätzungen aus heterogenen Offline‑Trajektorien auf neue Agenten und Aufgaben übertragbar sind.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.