Linear Probe Genauigkeit steigt mit Modellgröße – Multi‑Layer‑Ensembling hilft

Eine neue Studie aus dem arXiv zeigt, dass linear probes – einfache Klassifikatoren, die auf den Aktivierungen von Sprachmodellen arbeiten – ihre Fähigkeit, falsche Ausgaben zu erkennen, mit der Größe des Modells steigen.

Die Autoren betonen, dass linear probes besonders wichtig sind, wenn Modelle absichtlich falsche Informationen generieren oder bei Reward‑Hacking‑Strategien manipuliert werden.

Ein Problem bei bisherigen Ansätzen war die Verwundbarkeit einzelner Layer: Je nach Modell und Aufgabe variiert der beste Layer, und bei manchen Täuschungsformen scheitern die Probes komplett.

Die Lösung: Ein Ensemble aus mehreren Layern. Durch die Kombination von Probes aus verschiedenen Schichten konnten die Forscher die Leistung drastisch steigern – AUROC verbesserte sich um 29 % bei Insider Trading und um 78 % bei Harm‑Pressure Knowledge.

Darüber hinaus zeigte die Analyse, dass die Genauigkeit der Probes mit der Modellgröße zunimmt: pro zehnfacher Parameterzunahme steigt der AUROC um etwa 5 % (R = 0,81).

Die Autoren erklären, dass die Richtungen der Täuschung sich allmählich über die Layer hinweg drehen, anstatt an einer festen Stelle zu liegen. Diese Rotation macht einzelne Layer anfällig, während ein Multi‑Layer‑Ensembling die Vielfalt nutzt und robust bleibt.

Die Ergebnisse unterstreichen die Bedeutung von Multi‑Layer‑Ensembling für die Entwicklung von vertrauenswürdigen KI‑Systemen und geben einen klaren Hinweis darauf, wie große Sprachmodelle besser überwacht und kontrolliert werden können.