Neues Benchmark prüft hierarchische Suche und Sicherheit bei Gesetzesfragen

In der juristischen KI-Forschung lag der Fokus bislang überwiegend auf Fallrecht. Das neue Benchmark‑Projekt SearchFireSafety richtet die Aufmerksamkeit auf die besonderen Anforderungen der Gesetzesinterpretation, bei denen die relevanten Beweismittel über mehrere, hierarchisch verknüpfte Dokumente verteilt sind. Dadurch entsteht ein sogenannter „statutory retrieval gap“, bei dem herkömmliche Suchalgorithmen versagen und Modelle häufig falsche Aussagen generieren, wenn sie nicht über den vollständigen Kontext verfügen.

SearchFireSafety nutzt als Beispiel die Brandschutzvorschriften und prüft, ob KI‑Modelle in der Lage sind, fragmentierte Beweismittel korrekt zu lokalisieren und gleichzeitig sicher zu entscheiden, wann sie sich zurückziehen sollten, weil der gesetzliche Kontext unvollständig ist. Das Benchmark‑Framework kombiniert reale Fragen, die eine zitationsbasierte Suche erfordern, mit synthetischen Szenarien, die die Halluzination und das Ablehnungsverhalten unter eingeschränktem Kontext gezielt testen.

Durch Experimente mit mehreren großen Sprachmodellen zeigte sich, dass graph‑basierte Retrieval‑Methoden die Leistung deutlich steigern. Gleichzeitig wurde ein kritischer Sicherheitskompromiss aufgezeigt: Modelle, die auf den jeweiligen Fachbereich angepasst wurden, neigen stärker dazu, falsche Aussagen zu erzeugen, wenn wesentliche gesetzliche Belege fehlen. Diese Erkenntnisse unterstreichen die Notwendigkeit von Benchmarks, die sowohl hierarchische Suche als auch die Sicherheit von Modellen in gesetzeszentrierten regulatorischen Kontexten gleichzeitig bewerten.