Attributierungsbias bei Sprachmodellen: Benchmark deckt Diskriminierung auf

In einer wegweisenden Studie wurde AttriBench, ein erstmals vollständig ausgeglichenes Benchmark-Dataset für die Zitatanalyse, vorgestellt. Das Set berücksichtigt sowohl die Bekanntheit der Autoren als auch deren demografische Merkmale, wodurch Forscher gezielt die Fairness von Sprachmodellen untersuchen können.

Mit AttriBench wurden elf führende Large Language Models (LLMs) unter verschiedenen Prompt-Varianten getestet. Die Ergebnisse zeigen, dass die korrekte Zuordnung von Zitaten nach wie vor ein schwieriges Problem darstellt, selbst für die modernsten Modelle. Besonders auffällig sind signifikante Ungleichheiten in der Attributionsgenauigkeit zwischen verschiedenen Rassen, Geschlechtern und intersektionalen Gruppen.

Ein weiteres, bislang wenig beachtetes Problem wurde identifiziert: die „Suppression“. Dabei lassen die Modelle die Autorenangabe komplett weg, obwohl sie die notwendigen Informationen besitzen. Diese Suppression tritt ungleichmäßig auf und verdeutlicht systematische Verzerrungen, die herkömmliche Genauigkeitsmaße nicht erfassen.

Die Arbeit unterstreicht, dass die Zitatanalyse ein aussagekräftiger Prüfstein für die repräsentative Fairness von LLMs ist. Durch die Nutzung von AttriBench können Entwickler und Forscher gezielt an der Reduktion von Bias arbeiten und die Zuverlässigkeit von Sprachmodellen in sensiblen Anwendungsbereichen erhöhen.