LJ-Bench: Ontologie-basierter Benchmark für US-Strafrecht

Die Gefahr, dass große Sprachmodelle (LLMs) schädliche Informationen liefern, bleibt ein zentrales Problem, weil sie mit einer breiten Palette illegaler Anfragen konfrontiert werden können. Bisher konzentrierten sich die vorhandenen Benchmarks jedoch nur auf wenige Arten von Straftaten und stützten sich nicht auf juristische Grundlagen.

Mit dem neuen Projekt LJ‑Bench wird das erste umfassende Benchmarking-Tool vorgestellt, das auf einer Ontologie von kriminellen Konzepten basiert, die sich an den rechtlichen Rahmenbedingungen des Model Penal Code orientiert – einer einflussreichen Referenz, die von vielen US-Bundesstaaten übernommen wurde. Die Ontologie wurde konkret mit dem kalifornischen Strafrecht umgesetzt und umfasst 76 eindeutig klassifizierte Straftatarten.

Durch die strukturierte Taxonomie ermöglicht LJ‑Bench eine systematische Bewertung von LLMs gegenüber einer breiten Palette illegaler Aktivitäten. Die ersten Tests zeigen, dass die Modelle besonders anfällig für Angriffe sind, die gesellschaftlichen Schaden anrichten, während Angriffe, die direkte Personenbelastungen betreffen, weniger stark betroffen sind. Diese Erkenntnisse liefern wertvolle Hinweise auf Schwachstellen und unterstützen die Entwicklung robusterer, vertrauenswürdigerer Sprachmodelle.

Der gesamte Benchmark, die Ontologie sowie die Implementierung der Experimente sind öffentlich zugänglich und können auf GitHub nachverfolgt und reproduziert werden.