Feature-Steering: Leistungsverlust trotz Verhaltenskontrolle bei LLMs

Eine neue Studie von Goodfire zeigt, dass Feature‑Steering zwar das Verhalten von Sprachmodellen gezielt beeinflussen kann, dafür aber die Gesamtleistung stark beeinträchtigt.

Im Experiment wurden 14 Steuerungsanfragen – sowohl harmlos als auch sicherheitsrelevant – auf 171 Fragen des Massive Multitask Language Understanding (MMLU) Tests angewendet. Dabei wurden die Modelle Llama‑8B und Llama‑70B mit dem Auto‑Steer‑Tool von Goodfire gegen klassische Prompt‑Engineering‑Methoden verglichen.

Die Ergebnisse sind eindeutig: Auto‑Steer erreicht zwar höhere Kontrollwerte (z. B. 3,33 vs. 2,98 bei Llama‑8B), jedoch sinkt die Genauigkeit drastisch von 66 % auf 46 % bei Llama‑8B und von 87 % auf 73 % bei Llama‑70B. Auch die Kohärenz der Antworten verschlechtert sich deutlich – von 4,62 auf 2,24 bzw. von 4,94 auf 3,89. Im Gegensatz dazu liefert einfaches Prompt‑Engineering die beste Balance zwischen Verhaltenskontrolle und Modellleistung.

Die Studie unterstreicht, dass mechanistische Kontrollmethoden fundamentale Trade‑offs zwischen Fähigkeit und Verhalten aufweisen. Vor einer praktischen Einführung muss daher die Auswirkung auf die Leistung systematisch untersucht werden.