Neues RAG-Modell liefert breitere Evidenzabdeckung in biomedizinischer Literatur

In der biomedizinischen Forschung werden Retrieval‑Augmented‑Generation‑Systeme (RAG) bislang vor allem anhand von Ranking‑Metriken wie dem Mean Reciprocal Rank (MRR) bewertet. Diese Kennzahlen belohnen zwar die Präzision bei der Suche nach dem jeweils relevantesten Textabschnitt, vernachlässigen jedoch die Breite der abgedeckten Informationen – also die Fähigkeit, Belege aus verschiedenen strukturellen Abschnitten eines Dokuments zu extrahieren.

Um dieses Problem anzugehen, stellt das neue Framework GraLC‑RAG vor. Es kombiniert late chunking mit graph‑bewusster Strukturintelligenz und führt drei zentrale Innovationen ein: eine struktur‑bewusste Chunk‑Grenzdetektion, die Einbindung des UMLS‑Wissensgraphen und eine graph‑gesteuerte hybride Retrieval‑Strategie. Diese Kombination soll die Vielfalt der abgerufenen Abschnitte erhöhen, ohne die Relevanz zu verlieren.

Die Autoren haben sechs unterschiedliche Strategien auf 2 359 IMRaD‑gefilterte PubMed‑Central‑Artikel getestet, die 2 033 Querschnittsfragen abdecken. Dabei wurden sowohl klassische Ranking‑Metriken (MRR, Recall@k) als auch strukturelle Abdeckungsmetriken (SecCov@k, CS Recall) herangezogen. Die Ergebnisse zeigen einen deutlichen Unterschied: Methoden, die sich ausschließlich auf Inhaltssimilarität stützen, erzielen den höchsten MRR von 0,517, greifen jedoch immer nur auf einen Abschnitt zurück. Struktur‑bewusste Ansätze dagegen können bis zu 15,6‑mal mehr Abschnitte abdecken.

Bei Generierungs‑Experimenten konnte die Einbindung des Wissensgraphen die Lücke in der Antwortqualität um lediglich 0,009 F1‑Punkte schließen, während gleichzeitig die Abschnitts‑Diversität um das 4,6‑fache gesteigert wurde. Diese Befunde verdeutlichen, dass herkömmliche Metriken die strukturelle Retrieval‑Qualität systematisch unterschätzen. Das Schließen der Lücke bei der Synthese mehrerer Abschnitte bleibt damit ein zentrales offenes Problem für biomedizinische RAG‑Systeme.