MedImageEdu: Neuer Benchmark für multimodale Radiologie‑Patientenbildung

In der medizinischen Forschung konzentrieren sich die meisten multimodalen Benchmarks bislang auf statische Aufgaben wie Bild‑Frage‑Antworten oder Berichtserstellung. Die Patientenaufklärung hingegen erfordert ein vielschichtiges Vorgehen: Systeme müssen relevante Beweise aus Bildern erkennen, Patienten gezielt zeigen, wo sie hinschauen sollen, die Befunde in verständlicher Sprache erklären und auf Verwirrung oder Angst reagieren. Trotz dieser Anforderungen bleibt die meisten Arbeit im Bereich der Patientenaufklärung textbasiert, obwohl Bild‑und‑Text‑Erklärungen die Verständlichkeit deutlich verbessern können.

Mit MedImageEdu wird ein neuer Standard gesetzt. Der Benchmark bietet 150 Radiologie‑Fälle, die jeweils einen Berichtstext und zugehörige Bildmaterialien enthalten. Ein „DoctorAgent“ interagiert mit einem „PatientAgent“, wobei ein verstecktes Profil Faktoren wie Bildungsniveau, Gesundheitskompetenz und Persönlichkeit berücksichtigt. Wenn ein Patienten­frage visuelle Unterstützung erfordert, kann der DoctorAgent Anweisungen für ein Zeichnungstool generieren, das anschließend Bilder liefert, die in die finale multimodale Antwort einfließen. Diese Antwort kombiniert Bild und klar verständliche Erklärung, die auf dem Bericht, den Bildern und der aktuellen Frage basiert.

Die Bewertung von MedImageEdu erfolgt entlang fünf Dimensionen: Konsultationsqualität, Sicherheit und Umfang, Sprachqualität, Zeichenqualität sowie Bild‑Text‑Antwortqualität. Durch die Analyse von Open‑ und Closed‑Source Vision‑Language‑Modellen wurden drei konsistente Schwachstellen identifiziert: Obwohl die Modelle flüssige Sprache erzeugen, fehlt häufig die notwendige Evidenz‑Grundlage, die Bild‑ und Textinformationen nahtlos verbindet. Zudem zeigen sich Lücken in der Zeichnungskompetenz und in der Fähigkeit, komplexe Befunde verständlich zu vermitteln.

MedImageEdu eröffnet damit eine neue Forschungsrichtung, die die Entwicklung von KI‑Systemen fördert, die nicht nur medizinische Fakten liefern, sondern diese auch in einer für Patienten zugänglichen, multimodalen Form präsentieren. Durch die Kombination von Bild, Text und interaktiver Kommunikation wird ein vielversprechender Schritt in Richtung einer effektiveren und empathischeren Patientenaufklärung gemacht.