Kategorisierte Ablehnung: Llama 3 8B ermöglicht fein abgestimmte Sicherheitssteuerung

Moderne Sprachmodelle werden zunehmend für die Sicherheit optimiert, indem sie lernen, schädliche Anfragen abzulehnen. In einer neuen Studie wird ein Ansatz vorgestellt, bei dem das Modell mit kategorisierten Ablehnungstoken feinjustiert wird, um die Art der Ablehnung bereits vor der eigentlichen Antwort zu bestimmen.

Das Team hat Llama 3 8B mit diesen speziellen Tokens trainiert und dadurch die Möglichkeit geschaffen, das Verhalten des Modells zur Ablehnung in Echtzeit zu steuern. Durch die Analyse des Residualstreams konnten sie klar getrennte, kategorie‑ausgerichtete Richtungen identifizieren, die anschließend als Steuerungsvektoren genutzt werden.

Ein leichtgewichtiges Probeverfahren entscheidet, ob das Modell in Richtung einer bestimmten Ablehnungskategorie gelenkt werden soll oder nicht. Zusätzlich wird eine lernbasierte, niedrigrangige Kombination dieser Richtungen in einer orthonormierten Basis eingesetzt, sodass ein einzelnes, kontrollierbares Eingriffspunkt entsteht, der auch auf andere Modelle derselben Architektur übertragbar ist.

In umfangreichen Benchmarks zeigen die kategorisierten Steuerungsvektoren und die Low‑Rank‑Kombination eine konsistente Reduktion von übermäßigen Ablehnungen bei harmlosen Anfragen, während die Ablehnungsrate bei schädlichen Anfragen steigt. Diese Technik bietet damit eine vielversprechende Lösung für die mehrkategorische Steuerung von Ablehnungen in Sprachmodellen.