Neue Methode testet Zuverlässigkeit von LLMs bei wiederholten Prompt-Generierungen

Traditionelle Benchmarks wie HELM und AIR‑BENCH bewerten die Sicherheit von großen Sprachmodellen (LLMs) vor allem über eine breite Aufgabenvielfalt. In der Praxis jedoch stellen sich andere Risiken ein: wiederholte Generierungen desselben Prompts können zu Betriebsfehlern führen, die bei einmaligen Tests verborgen bleiben. Für hochriskante Anwendungen ist daher die Konsistenz und Sicherheit bei wiederholtem Gebrauch entscheidend.

Um diese „Reliability‑Gaps“ gezielt zu untersuchen, hat ein Forschungsteam das Konzept des Accelerated Prompt Stress Testing (APST) entwickelt. APST ist ein tiefgreifender Evaluationsrahmen, der sich an der hochbeschleunigten Belastungstests aus der Zuverlässigkeitsforschung orientiert. Dabei werden identische Prompts unter kontrollierten Bedingungen – etwa variierender Temperatur und gezielter Prompt‑Störung – mehrfach abgefragt, um versteckte Fehler wie Halluzinationen, inkonsistente Ablehnungen oder unsichere Antworten aufzudecken.

Im Gegensatz zu herkömmlichen Ansätzen, die Fehler als isolierte Ereignisse betrachten, modelliert APST die beobachteten Sicherheitsfehler statistisch. Durch Bernoulli‑ und Binomial‑Formeln werden die Fehlerwahrscheinlichkeiten pro Inferenz geschätzt, was einen quantitativen Vergleich des operativen Risikos zwischen Modellen und Konfigurationen ermöglicht. In einer Anwendung auf mehrere instruction‑tuned LLMs, die mit den AIR‑BENCH‑2024‑Sicherheits‑ und Sicherheitsprompts getestet wurden, zeigte sich, dass Modelle bei wenigen oder einzelnen Tests ähnlich abschneiden, während wiederholte Sampling‑Runden erhebliche Unterschiede in den empirischen Fehlerraten offenbarten.