Mechanistische Interpretierbarkeit reicht nicht: Modelle korrigieren Fehler nicht

Eine neue Untersuchung auf arXiv zeigt, dass mechanistische Interpretationsansätze – obwohl sie die internen Wissensrepräsentationen eines Sprachmodells nahezu perfekt abbilden – die Fehler des Modells nicht zuverlässig korrigieren können.

Die Forscher haben vier Techniken verglichen: Concept‑Bottleneck‑Steering, Sparse Autoencoder Feature Steering, Logit‑Lens mit Activation Patching und Linear Probing mit Truthfulness Separator Vector Steering. Sie setzten diese auf 400 klinische Fallstudien, die von Ärzten verifiziert wurden, um Fehlalarme bei der Triage zu identifizieren.

Die linearen Probes erreichten einen AUROC von 98,2 % – ein Hinweis auf das vorhandene Wissen – doch die Sensitivität des Modells lag bei lediglich 45,1 %. Concept‑Bottleneck‑Steering korrigierte 20 % der verpassten Gefahren, stürzte jedoch 53 % der korrekten Erkennungen ab und verhielt sich damit wie zufällige Störung. Sparse Autoencoder Feature Steering zeigte keine Wirkung, obwohl 3 695 Features signifikant waren. TSV‑Steering bei hoher Intensität verbesserte die Erkennung um 24 % und störte nur 6 % der korrekten Fälle, ließ jedoch 76 % der Fehler unberührt.

Die Ergebnisse legen nahe, dass aktuelle mechanistische Interpretationsmethoden nicht in der Lage sind, internes Wissen in handlungsrelevante Korrekturen zu übersetzen. Dies wirft Fragen für Sicherheitsrahmenwerke auf, die davon ausgehen, dass Interpretierbarkeit automatisch zu effektiver Fehlerbehebung führt.