Reinforcement Learning Alignment: Grenzen der Generalisierung enthüllt

Die Sicherheit großer Sprachmodelle beruht auf Alignment‑Techniken wie Reinforcement Learning from Human Feedback (RLHF). Neue theoretische Untersuchungen zeigen jedoch, dass RL-basierte Trainingsverfahren keine neuen Fähigkeiten erzeugen, sondern lediglich die Nutzung vorhandener Fähigkeiten neu verteilen. In einer aktuellen Studie wurden sogenannte „compound jailbreaks“ entwickelt, die gezielt die OpenAI‑GPT‑OSS‑20B‑Modelle angreifen. Durch die Kombination mehrerer Angriffsmethoden, die einzeln bereits abgewehrt werden können, wird der Prozess der Aufrechterhaltung der Befehlshierarchie überlastet.

Die Ergebnisse sind eindrucksvoll: Der Angriffserfolg steigt von 14,3 % bei einzelnen Techniken auf 71,4 % bei der kombinierten Vorgehensweise. Diese Zahlen liefern empirische Belege dafür, dass Sicherheits‑Trainingsmaßnahmen nicht so breit generalisieren wie die eigentlichen Modellfähigkeiten. Die Studie unterstreicht die Notwendigkeit, Sicherheitstests mit komplexen, zusammengesetzten Angriffsszenarien durchzuführen, um die Robustheit von Sprachmodellen wirklich zu gewährleisten.