HealthAdminBench: LLM-Agenten bei Gesundheitsverwaltung noch weit zu verbessern

Die Verwaltung im Gesundheitswesen kostet jährlich über 1 Billion US-Dollar – ein enormer Markt, der nun von großen Sprachmodellen (LLMs) erfasst werden soll. Bislang fehlte jedoch ein standardisiertes Verfahren, um Computer‑Use‑Agents (CUAs) in echten Verwaltungsabläufen zu testen. Mit dem neuen Benchmark HealthAdminBench wird dieses Defizit endlich geschlossen.

HealthAdminBench besteht aus vier realistischen grafischen Benutzeroberflächen: einem elektronischen Gesundheitsakten‑System (EHR), zwei Versicherungsportalen und einem Fax‑System. In den 135 von Experten definierten Aufgaben – Prior‑Authorization, Appeals and Denials Management sowie Durable Medical Equipment (DME) Order Processing – werden die Prozesse in 1 698 prüfbare Teilaufgaben zerlegt. So lässt sich die Leistung von Agenten präzise messen.

Bei der Evaluation von sieben Agentenkonfigurationen unter verschiedenen Prompt‑ und Beobachtungsmodi zeigte sich ein deutlicher Leistungsunterschied. Der bislang leistungsstärkste Agent, Claude Opus 4.6 CUA, erreichte lediglich 36,3 % Erfolgsrate bei kompletten Aufgaben, während GPT‑5.4 CUA die höchste Teilaufgaben‑Erfolgsrate von 82,8 % erzielte. Diese Zahlen verdeutlichen, dass die aktuelle Technologie noch weit von der zuverlässigen Automatisierung echter Verwaltungsprozesse entfernt ist.

HealthAdminBench liefert damit eine robuste Grundlage, um Fortschritte bei der sicheren und verlässlichen Automatisierung von Gesundheitsverwaltungsabläufen zu messen und weiterzuentwickeln.