KI erkennt versteckte Gesetzesbezüge in französischen Urteilen – Experten streiten

In einer wegweisenden Studie zeigen Forscher, dass künstliche Intelligenz in der Lage ist, versteckte Verweise auf den französischen Zivilgesetzbuch in erstinstanzlichen Gerichtsurteilen aufzuspüren. Das Projekt demonstriert, wie maschinelles Lernen die Analyse von Rechtstexten in großem Maßstab unterstützen kann.

Das Team hat ein Benchmark-Datensatz mit 1 015 Passagen-Artikel-Paaren erstellt, der von drei Rechtsexperten annotiert wurde. Die Übereinstimmung zwischen den Experten war moderat (Kappa = 0,33), wobei 43 % der Uneinigkeit an der Grenze zwischen sachlicher Beschreibung und rechtlicher Argumentation lagen. Diese Diskrepanzen sind ein entscheidender Hinweis darauf, wo die Modelle am häufigsten versagen.

Ein überwacht lernender Ensemble-Ansatz erreichte ein F1‑Score von 0,70 und eine Genauigkeit von 77 %. Allerdings machten 68 % der Falsch‑Positiven die 33 % der Fälle aus, in denen die Experten uneins waren. Das Ergebnis verdeutlicht, dass die Modellleistung stark von der Konsistenz der menschlichen Anmerkungen abhängt.

Durch die Umstellung auf ein Top‑k‑Ranking und die Nutzung mehrerer Modelle in einer Konsensstrategie konnte das Team in einer unüberwachten Umgebung eine Präzision von 76 % bei k = 200 erzielen. Die verbleibenden Fehler weisen eher auf rechtlich mehrdeutige Anwendungen hin als auf offensichtliche Fehler.

Die Studie unterstreicht die Herausforderungen bei der automatisierten Erkennung von impliziten Gesetzesbezügen und zeigt gleichzeitig das enorme Potenzial von KI, die juristische Forschung zu revolutionieren. Sie betont die Notwendigkeit, Expertenkonsens als Grundlage für die Entwicklung zuverlässiger Modelle zu nutzen und eröffnet neue Perspektiven für die Analyse von Rechtstexten weltweit.