VERT: Neue LLM-Juroren verbessern Radiologiebericht-Bewertung um 11,7 %

In einer wegweisenden Studie zeigt das neue LLM-basiertes Bewertungssystem VERT, dass die Bewertung von Radiologieberichten deutlich genauer wird. Im Vergleich zu bestehenden Modellen wie RadFact, GREEN und FineRadScore konnte VERT die Korrelation mit den Einschätzungen von Radiologen um bis zu 11,7 % steigern.

Die Forscher haben die Leistung von VERT an zwei umfangreichen, von Experten annotierten Datensätzen – RadEval und RaTE‑Eval – getestet. Dabei wurden sowohl offene als auch geschlossene Modelle unterschiedlicher Größe und mit bzw. ohne dedizierte Rechenlogik eingesetzt. Zusätzlich wurden Few‑Shot-Ansätze, Ensemble‑Methoden und parameter‑effiziente Feinabstimmungen untersucht.

Ein besonders bemerkenswerter Befund ist die Feinabstimmung des Qwen3 30B Modells. Mit nur 1.300 Trainingsbeispielen erzielte das Modell einen Leistungszuwachs von bis zu 25 % und verkürzte die Inferenzzeit um mehr als das Dreifache. Diese Ergebnisse unterstreichen, dass selbst leichte Anpassungen von großen Sprachmodellen zu signifikanten Verbesserungen in der Radiologiebericht-Bewertung führen können.

Die Studie liefert damit klare Hinweise darauf, dass LLM-basierte Juroren nicht nur robust über verschiedene Bildmodalitäten und anatomische Regionen hinweg funktionieren, sondern auch mit gezielter Anpassung eine zuverlässige und effiziente Bewertung ermöglichen. VERT markiert damit einen wichtigen Schritt in Richtung automatisierter, hochpräziser Radiologie-Feedback‑Systeme.