LLMs im Medizinbereich: Studie zeigt Lücke zwischen Prüfungs- und Praxisleistung

Eine neue, umfassende Untersuchung zum Einsatz großer Sprachmodelle (LLMs) in der Medizin hat gezeigt, dass die beeindruckenden Ergebnisse bei Prüfungsaufgaben nicht automatisch auf reale klinische Entscheidungen übertragbar sind. Die Autoren haben die Rolle von LLMs in der medizinischen Entscheidungsfindung aus kognitiver Sicht analysiert und die Verfahren in sieben Hauptkategorien eingeteilt.

Die Studie betont, dass klinische Entscheidungen nicht nur auf Faktenwissen beruhen, sondern ein iteratives Vorgehen aus Abduktion, Deduktion und Induktion erfordern. In diesem Kontext wurden verschiedene Trainings- und Trainingsfreie Ansätze systematisch bewertet, um die Stärken und Schwächen der Modelle zu identifizieren.

Ein zentrales Ergebnis ist die Einführung von MR‑Bench, einem Benchmark, der auf echten Krankenhausdaten basiert. Die Tests auf MR‑Bench haben deutlich gemacht, dass die Leistung von LLMs bei Prüfungsaufgaben stark übertrifft, während ihre Genauigkeit bei authentischen klinischen Aufgaben deutlich geringer ausfällt. Diese Diskrepanz unterstreicht die Notwendigkeit, Modelle stärker auf realistische, kontextabhängige Szenarien zu trainieren und zu evaluieren.

Die Autoren schließen mit einem Aufruf zur Entwicklung neuer Bewertungsstandards und zu einer engeren Zusammenarbeit zwischen KI-Forschern und medizinischen Fachkräften, um sicherzustellen, dass zukünftige Sprachmodelle den hohen Anforderungen der klinischen Praxis gerecht werden.