Code-LLMs steuern: Aktivierungsrichtungen bestimmen Sprache & Bibliothek

Eine neue Studie aus dem arXiv-Repository zeigt, dass Code‑LLMs ihre Vorlieben für Programmiersprachen und Bibliotheken in ihrer Aktivierungsstruktur verankern. Diese Präferenzen lassen sich gezielt manipulieren, indem man lineare Richtungen im Aktivierungsraum nutzt.

Die Forscher haben für fünf Sprach‑/Bibliothekspaare kompakte Steuervektoren ermittelt und diese während der Textgenerierung zu den versteckten Zuständen des Modells addiert. Durch diese Interventionen steigt die Wahrscheinlichkeit, dass das Modell das gewünschte Ökosystem nutzt, selbst wenn die Eingabeaufforderung neutral oder sogar gegenteilig formuliert ist.

In drei Open‑Weight-Code‑LLMs zeigte sich, dass die Technik die Ausgabe signifikant in die Zielrichtung lenkt. Häufige Ökosysteme lassen sich leichter steuern, seltene Alternativen sind schwieriger zu erreichen. Gleichzeitig kann eine zu starke Intervention die Qualität der generierten Code‑Ausgabe beeinträchtigen.

Die Ergebnisse deuten darauf hin, dass Code‑Stilpräferenzen teilweise durch kompakte, steuerbare Strukturen im Aktivierungsraum repräsentiert sind. Dies eröffnet neue Möglichkeiten für kontrollierte und zielgerichtete Code‑Generierung in der Praxis.