Fuzzy-Text-Screening: Neue Pipeline erhöht Trefferquote in systematischen Reviews
Die Volltextauswertung stellt bei systematischen Reviews (SRs) den größten Engpass dar, weil entscheidende Evidenz über lange, heterogene Dokumente verteilt ist. Eine neue, skalierbare und prüfbare Pipeline löst dieses Problem, indem sie die Einschluss- und Ausschlusskriterien als fuzzy‑Entscheidungsaufgabe behandelt und damit die klassische binäre Logik erweitert.
Der Ansatz beginnt mit der Aufteilung der Artikel in überlappende Textsegmente, die anschließend mit einem domänenangepassten Modell eingebettet werden. Für jedes SR-Kriterium – Population, Intervention, Outcome und Study Approach – wird die kontrastive Ähnlichkeit (Inclusion‑Exclusion‑Cosinus) berechnet. Ein Mamdani‑Fuzzy‑Controller wandelt diese Werte in graduierte Einschlussgrade um, wobei dynamische Schwellenwerte in einem Multi‑Label‑Setting verwendet werden.
Ein großes Sprachmodell (LLM) fungiert als Urteilsrichter: Es bewertet die hervorgehobenen Textstellen, weist tertiäre Labels zu, liefert Konfidenzwerte und begründet die Entscheidungen anhand der Kriterien. Wenn die Evidenz unzureichend ist, wird die fuzzy‑Mitgliedschaft reduziert anstatt die Studie vollständig auszuschließen, was die Flexibilität des Systems erhöht.
In einem Pilotversuch mit 16 vollständig positiven Volltexten (3.208 Segmente) erreichte das fuzzy‑System eine Recall‑Rate von 81,3 % für Population, 87,5 % für Intervention und Outcome sowie 75,0 % für Study Approach – deutlich über den statistischen (56,3 – 75,0 %) und den klaren Baselines (43,8 – 81,3 %). Bei der strengen „Alle‑Kriterien‑inklusion“ wurden 50 % der Artikel akzeptiert, verglichen mit 25 % bzw. 12,5 % bei den Baselines. Die Übereinstimmung der Begründungen zwischen den Modellen betrug 98,3 %, die Mensch‑Maschine‑Übereinstimmung 96,1 % und die Inter‑Reviewer‑Konsistenz lag bei 91 %.
Diese Ergebnisse zeigen, dass fuzzy‑basierte Textscreening‑Methoden die Effizienz und Genauigkeit von systematischen Reviews erheblich steigern können. Durch die Kombination von kontrastiver semantischer Hervorhebung, fuzzy‑Logik und LLM‑Urteilsfindung entsteht ein transparentes, auditables Verfahren, das die Qualität der Evidenzbewertung nachhaltig verbessert.