Generative AI: Neue Validitätsstandards für Aufsatzbewertung

Die rasante Entwicklung großer Sprachmodelle und generativer künstlicher Intelligenz (KI) macht deren Einsatz im Hochrisikotestbereich immer wahrscheinlicher. Besonders attraktiv erscheint die Nutzung generativer KI zur Bewertung von Aufsätzen, weil sie den Aufwand für die manuelle Erstellung von Merkmalen in traditionellen KI-Systemen reduziert und sogar bessere Ergebnisse liefern kann.

In dem vorliegenden Papier werden die Unterschiede zwischen Merkmal-basierten und generativen KI-Anwendungen für die Bewertung von Aufsätzen erläutert. Zudem werden konkrete Best‑Practice‑Richtlinien vorgestellt, wie Validitätsnachweise für die Interpretation von Aufsatznoten aus generativen KI-Systemen erhoben werden können.

Der Vergleich der benötigten Validitätsnachweise zeigt, dass bei menschlichen Bewertungen, Merkmal‑basierten NLP‑Scoring‑Engines und generativen KI‑Systemen unterschiedliche Anforderungen bestehen. Für generative KI sind umfangreichere Nachweise erforderlich, da die Modelle weniger transparent sind und Bedenken hinsichtlich Konsistenz und Reproduzierbarkeit bestehen.

Ein umfangreiches Datenset aus unabhängigen argumentativen Aufsätzen von Schülerinnen und Schülern der Klassen 6 bis 12 dient als Beispiel. Die Analyse demonstriert, wie Validitätsnachweise für verschiedene Scoring‑Systeme gesammelt werden können und verdeutlicht die Komplexität und die vielen Überlegungen, die bei der Argumentation für die Gültigkeit solcher Scores zu berücksichtigen sind.