Doctorina MedBench: Realistische Arzt‑Patienten‑Simulation als neues AI‑Benchmark

Doctorina MedBench ist ein umfassendes Evaluationsframework für agentenbasierte medizinische KI. Im Gegensatz zu herkömmlichen Benchmarks, die standardisierte Testfragen lösen, simuliert es realistische Arzt‑Patienten‑Dialoge, in denen ein Arzt oder ein KI-System medizinische Anamnese sammelt, Laborberichte, Bilder und Dokumente analysiert, Differentialdiagnosen erstellt und individuelle Empfehlungen gibt.

Die Leistung wird mit dem D.O.T.S.‑Metrik bewertet, die vier Komponenten umfasst: Diagnose, Beobachtungen/Untersuchungen, Behandlung und Schrittanzahl. Damit lässt sich sowohl die klinische Richtigkeit als auch die Effizienz des Dialogs messen.

Das System integriert eine mehrstufige Test- und Qualitätsüberwachungsarchitektur, die Modellverschlechterungen während Entwicklung und Einsatz erkennt. Es bietet sicherheitsorientierte Falltests, zufällige Stichproben aus verschiedenen Krankheitskategorien und vollständige Regressionstests.

Derzeit enthält das Datenset über 1.000 klinische Fälle mit mehr als 750 Diagnosen. Die universellen Metriken ermöglichen die Bewertung von medizinischen KI-Systemen, von Ärzten und unterstützen die Entwicklung klinischer Entscheidungsfähigkeiten.

Ergebnisse deuten darauf hin, dass die Simulation von klinischen Dialogen eine realistischere Einschätzung der klinischen Kompetenz liefert als traditionelle prüfungsbasierte Benchmarks.