Von strukturellen GraphRAG-Ansätzen profitieren automatisierte Kurzantwortbewertungen

Automatisierte Kurzantwortbewertung (ASAG) ist entscheidend für die Skalierung von Bildungsprüfungen, doch große Sprachmodelle (LLMs) neigen zu Halluzinationen und haben Schwierigkeiten, strenge Bewertungsrubriken einzuhalten. Retrieval-Augmented Generation (RAG) reduziert diese Probleme, doch herkömmliche flache Vektor‑Retrieval‑Methoden behandeln Wissen als isolierte Fragmente und vernachlässigen die strukturellen Beziehungen, die für komplexe Lerninhalte und mehrstufiges Denken erforderlich sind.

Um diese Lücke zu schließen, wurde ein Graph Retrieval-Augmented Generation (GraphRAG)-Framework entwickelt, das Referenzmaterialien in ein strukturiertes Wissensgraphenmodell überführt. Der Ansatz nutzt Microsoft GraphRAG zur präzisen Graphenbildung und den neuromodularen HippoRAG-Algorithmus, um assoziative Graphdurchläufe durchzuführen und damit zusammenhängende Evidenzsubgraphen abzurufen.

In Experimenten mit einem Datensatz der Next Generation Science Standards (NGSS) zeigte sich, dass die graphbasierte Methode sämtliche Leistungskennzahlen gegenüber herkömmlichen RAG-Baselines deutlich übertrifft. Besonders hervorzuheben ist die signifikante Verbesserung bei der Bewertung von Science and Engineering Practices (SEP), was die Überlegenheit struktureller Retrieval‑Strategien bei der Verifikation logischer Argumentationsketten bestätigt.