LLM‑Judges zeigen Diskrepanz zu menschlichen Bewertungen bei Disinformation

Moderne Sprachmodelle können überzeugende Texte in großem Umfang erzeugen und damit das Risiko von Desinformationskampagnen erhöhen. Um die Gefahr wirklich einschätzen zu können, muss man wissen, wie Leser solche Inhalte wahrnehmen. In der Praxis werden jedoch immer häufiger LLM‑Judges als kostengünstige Alternative zu direkter menschlicher Bewertung eingesetzt, obwohl unklar bleibt, ob sie die Reaktionen der Leser tatsächlich widerspiegeln.

In einer aktuellen Studie wurden acht hochentwickelte LLM‑Judges systematisch mit menschlichen Bewertungen verglichen. Die Analyse basierte auf 290 Artikeln, 2 043 Paarungen von menschlichen Bewertungen und den Ausgaben der LLM‑Judges. Dabei wurden die Übereinstimmung in der Gesamtnote, die Rangfolge einzelner Punkte und die Abhängigkeit von Textsignalen untersucht.

Die Ergebnisse zeigen deutliche Lücken: Im Vergleich zu Menschen sind die LLM‑Judges tendenziell strenger, rekonstruieren die menschliche Rangfolge nur schwach und nutzen andere Textsignale – sie gewichten logische Strenge stärker und bestrafen emotionale Intensität härter. Gleichzeitig stimmen die LLM‑Judges viel häufiger untereinander überein als mit den menschlichen Lesern, was auf eine interne Kohärenz, aber keine echte Validität als Ersatz für Leserreaktionen hinweist.

Diese Erkenntnisse verdeutlichen, dass LLM‑Judges allein nicht als zuverlässiger Ersatz für menschliche Bewertungen in der Risikoanalyse von Desinformation dienen können. Für eine realistische Einschätzung der Wirkung von LLM‑generierten Inhalten sind daher weiterhin direkte menschliche Bewertungen erforderlich.