KI-gestützte Bewertung von Physikaufgaben: Wie klare Rubriken Zuverlässigkeit sichern

In einer aktuellen Untersuchung wurde die Zuverlässigkeit von KI‑unterstützter Bewertung von handschriftlichen Physikantworten getestet. Dabei kam das neueste Modell GPT‑4o zum Einsatz, um die Noten von 20 authentischen Prüfungsantworten zu ermitteln und mit denen von vier erfahrenen Dozenten zu vergleichen.

Die Studie nutzte zwei Arten von rubrikbasierten Bewertungswerkzeugen: eine holistische Skala und eine detaillierte Checkliste, die einzelne Kompetenzen wie Konzeptverständnis, Rechenlogik und Diagramminterpretation abdeckte. Zusätzlich wurden verschiedene Prompt‑Formate und Temperatur‑Einstellungen systematisch variiert, um die Wirkung der KI‑Konfigurationen zu untersuchen.

Die Ergebnisse zeigten, dass die Übereinstimmung zwischen KI und menschlichen Beurteilern dem Inter‑Rater‑Reliabilitätsniveau der Dozenten entsprach. Besonders stark war die Übereinstimmung bei sehr guten und sehr schlechten Leistungen, während die Bewertung von mittleren Leistungen – häufig mit teilweise unklaren Argumenten – weniger konsistent war. Auf Ebene einzelner Kriterien zeigte sich, dass die KI konsequenter bei klar definierten Konzept‑Skills als bei komplexen, prozeduralen Aufgaben war. Die feinere Checkliste führte zu einer höheren Konsistenz als die holistische Skala.

Die Studie unterstreicht, dass die Zuverlässigkeit von KI‑gestützter Bewertung vor allem von klaren, strukturierten Rubriken abhängt. Gleichzeitig spielt die Art des Prompt‑Designs eine wichtige Rolle. Für die Praxis bedeutet das, dass Lehrende bei der Einführung von KI‑Tools zunächst robuste Rubriken entwickeln und die Prompt‑Parameter sorgfältig abstimmen sollten, um eine faire und konsistente Bewertung sicherzustellen.