Neues Audit-Framework prüft Repräsentativität von Fragen in Online-Diskussionen

In einer wegweisenden Studie wurde ein neues Audit-Framework vorgestellt, das die Repräsentativität von Fragen in Online‑Deliberationsprozessen systematisch bewertet. Das Konzept basiert auf der sozialen Wahltheorie des „justified representation“ (JR) und ermöglicht es, zu prüfen, ob die ausgewählten Fragen die Interessen aller Teilnehmer angemessen widerspiegeln.

Die Autoren haben erstmals effiziente Algorithmen entwickelt, um JR in einem allgemeinen Nutzen‑Setting zu auditieren. Der schnellste Algorithmus arbeitet in O(m n log n) Zeit, wobei n die Anzahl der Teilnehmer und m die Anzahl der vorgeschlagenen Fragen ist. Damit wird die Analyse selbst bei großen Diskussionsgruppen praktikabel.

Um die Wirksamkeit des Frameworks zu demonstrieren, wurden historische Deliberationen ausgewertet. Dabei wurden drei Varianten der Fragensammlung verglichen: (a) die von einem Moderator ausgewählten Fragen, (b) Fragen, die durch ganzzahlige lineare Programmierung (ILP) ausgewählt wurden, und (c) zusammengefasste Fragen, die von großen Sprachmodellen (LLMs) generiert wurden. Die Ergebnisse zeigen, dass LLM‑basierte Zusammenfassungen zwar vielversprechend sind, aber noch Einschränkungen aufweisen, wenn es um die vollständige Abdeckung der Teilnehmerinteressen geht.

Ein besonderer Mehrwert besteht darin, dass das Audit-Framework nahtlos in ein bereits weltweit genutztes Online‑Deliberations‑Portal integriert wurde. Dieses Tool wurde in über 500 Deliberationen in mehr als 50 Ländern eingesetzt und bietet Praktikern nun die Möglichkeit, die Repräsentativität ihrer Fragestellungen zu prüfen und gezielt zu verbessern.