Agentische KI: AURA steigert Label‑Genauigkeit um bis zu 5,8 %

Die Erstellung von Labels für überwachte Lernmodelle bleibt trotz großer Fortschritte ein zentrales Problem. Traditionelle, von Menschen getriebene Annotationen sind teuer, langsam und führen zu inkonsistenten Ergebnissen. AURA – Agentic AI for Unified Reliability Modeling and Annotation Aggregation – bietet eine neue Lösung, die mehrere KI‑Agenten koordiniert, um Labels zu erzeugen und zu validieren, ohne auf vorliegende Ground‑Truth-Daten angewiesen zu sein.

Im Kern nutzt AURA ein klassisches probabilistisches Modell, das gleichzeitig die wahren Labels und die Zuverlässigkeit der einzelnen Agenten über Konfusionsmatrizen ermittelt. Durch den Einsatz von Expectation‑Maximization werden widersprüchliche Vorhersagen aufgelöst und verrauschte Ergebnisse zu konsistenten Labels zusammengeführt.

In Tests an vier etablierten Benchmark‑Datensätzen konnte AURA die Genauigkeit um bis zu 5,8 % gegenüber herkömmlichen Baselines steigern. Besonders in schwierigen Szenarien, in denen die Qualität der Annotatoren schlecht ist, erreichte die Methode sogar eine Verbesserung von bis zu 50 %. Darüber hinaus liefert AURA präzise Schätzungen der Zuverlässigkeit jedes Agenten, sodass die Qualität der Annotationen ohne vorherige Validierungsschritte bewertet werden kann.