SocialVeil: Kommunikationsbarrieren schwächen LLMs Sozialintelligenz

Ein neues Forschungswerkzeug namens SocialVeil wurde vorgestellt, um die soziale Intelligenz von großen Sprachmodellen (LLMs) in realistischeren Kommunikationssituationen zu prüfen. Während bisherige Tests meist ideale, fehlerfreie Gespräche simulieren, setzt SocialVeil auf echte Kommunikationshindernisse, die in menschlichen Interaktionen häufig auftreten.

Die Plattform modelliert drei typische Barrieren: semantische Unschärfe, soziokulturelle Missverständnisse und emotionale Störungen. Zur Messung der Interaktionsqualität wurden zwei neue Kennzahlen entwickelt – „unresolved confusion“ (nicht gelöste Verwirrung) und „mutual understanding“ (gegenseitiges Verständnis). Diese ermöglichen es, die Auswirkungen von Kommunikationsschwierigkeiten präzise zu quantifizieren.

In 720 simulierten Szenarien wurden vier führende LLMs getestet. Die Ergebnisse zeigen, dass die Barrieren die Leistung deutlich beeinträchtigen: Das gegenseitige Verständnis sank im Durchschnitt um über 45 % und die Verwirrung stieg um fast 50 %. Menschliche Bewertungen bestätigten die Echtheit der simulierten Hindernisse (ICC≈0.78, Pearson r≈0.80). Selbst fortgeschrittene Anpassungsstrategien wie „Repair Instruction“ und interaktives Lernen konnten die Leistung nur moderat verbessern und nahmen damit nicht die Lücken zu einer barrierefreien Kommunikation auf.

SocialVeil markiert einen wichtigen Schritt, um KI-Tests näher an reale Kommunikationsbedingungen zu bringen. Die Erkenntnisse eröffnen neue Forschungsfelder, um LLMs besser auf die Herausforderungen des menschlichen Dialogs vorzubereiten und ihre Einsatzmöglichkeiten in komplexen, unvollkommenen Umgebungen zu erweitern.