RADAR: Mechanistische Wege zur Erkennung von Datenkontamination bei LLM-Tests
Die Bewertung von großen Sprachmodellen (LLMs) wird zunehmend durch Datenkontamination erschwert, wenn Modelle ihre Leistung durch Auswendiglernen von Trainingsdaten statt durch echtes Denken erzielen. Ein neues Verfahren namens RADAR (Recall vs. Reasoning Detection through Activation Representation) nutzt mechanistische Interpretierbarkeit, um zwischen Erinnerungs- und Denkantworten zu unterscheiden.
RADAR extrahiert 37 Merkmale, die sowohl oberflächliche Vertrauenskurven als auch tiefgreifende mechanistische Eigenschaften wie Aufmerksamkeitsspezialisierung, Schaltkreisdynamik und Aktivierungsflussmuster abbilden. Durch ein Ensemble von Klassifikatoren, das auf diesen Merkmalen trainiert wurde, erreicht das System eine Genauigkeit von 93 % auf einem vielfältigen Testdatensatz. Bei klaren Fällen erzielt es perfekte Ergebnisse, während es bei schwierigen, mehrdeutigen Beispielen eine Genauigkeit von 76,7 % erreicht.
Diese Ergebnisse zeigen, dass mechanistische Interpretierbarkeit ein vielversprechendes Werkzeug zur Verbesserung der Zuverlässigkeit von LLM-Bewertungen darstellt und über herkömmliche, oberflächliche Metriken hinausgeht.