RepIt: Zielgerichtete Steuerung von Sprachmodellen durch isolierte Konzepte

In der Forschung zur Aktivierungssteuerung großer Sprachmodelle (LLMs) stoßen aktuelle Methoden häufig auf unerwünschte Nebeneffekte. Um diese Probleme zu lösen, hat ein neues Verfahren namens RepIt entwickelt, das reine Konzeptvektoren isoliert und so gezielte Eingriffe ermöglicht. RepIt arbeitet mit minimalem Datenaufwand und ist auf fünf führende LLMs anwendbar.

Durch die gezielte Unterdrückung von Ablehnungen zu spezifischen Konzepten lässt RepIt Modelle erzeugen, die Fragen zu WMD (Word Mover's Distance) beantworten, während sie gleichzeitig auf Standard-Sicherheitsbenchmarks als sicher bewertet werden. Die Technik lokalisiert die korrigierende Signale auf lediglich 100–200 Neuronen und kann robuste Zielrepräsentationen bereits aus wenigen Dutzend Beispielen auf einer einzelnen A6000-Grafikkarte extrahieren.

Diese Effizienz birgt jedoch ein zweischneidiges Potenzial: Mit geringem Rechenaufwand und wenigen Daten lassen sich Manipulationen durchführen, die unterrepräsentierten Themen zugutekommen und gleichzeitig bestehende Benchmarks umgehen. RepIt demonstriert, dass durch das Entwirren von Ablehnungsvektoren gezielte Interventionen die Übergeneralisation von Modellen reduzieren können, was den Weg für eine feinere Steuerung des Modellverhaltens ebnet.