LLM als Richter: Skalierbare Sicherheitsprüfung für psychotische Nutzer

Large Language Models (LLMs) werden zunehmend als Hilfsmittel für psychische Gesundheit eingesetzt. Doch gerade bei Menschen mit Psychose birgt die häufige Nutzung erhebliche Gefahren, da die Modelle Delusionen und Halluzinationen verstärken können.

Um diese Risiken systematisch zu bewerten, hat ein neues Forschungsprojekt sieben klinisch fundierte Sicherheitskriterien entwickelt, einen konsensbasierten Datensatz erstellt und die Leistungsfähigkeit von LLMs als automatisierte Prüfer – „LLM-as-a-Judge“ – sowie als Mehrheitsentscheidungsmechanismus – „LLM-as-a-Jury“ – getestet.

Die Ergebnisse zeigen, dass ein einzelner LLM als Richter die menschliche Konsensmeinung sehr gut nachahmt: Cohen‑Kappa zwischen menschlicher Bewertung und Gemini beträgt 0,75, bei Qwen 0,68 und bei Kimi 0,56. Der beste einzelne Richter übertrifft sogar die Jury (Kappa 0,74). Diese Übereinstimmung unterstreicht die Zuverlässigkeit von LLMs als objektive Prüfer.

Die Studie liefert damit einen vielversprechenden Ansatz für skalierbare, klinisch validierte Sicherheitsprüfungen von LLM‑Antworten in psychischen Gesundheitsanwendungen. Sie legt den Grundstein für robuste, automatisierte Kontrollen, die den sicheren Einsatz von KI im Gesundheitsbereich fördern können.