Adaptive Steuerung gefrorener LLMs: Online Prompt Routing für soziale Alignment

In der aktuellen Forschung wird deutlich, dass große Sprachmodelle (LLMs) üblicherweise nach dem Training mit Verfahren wie RLHF oder DPO ausgerichtet werden. Diese Vorgehensweise führt zu einer fast statischen Entscheidungsstrategie, die während des Einsatzes kaum noch angepasst werden kann. In der Praxis jedoch verändern sich Sicherheitsbedenken und Nutzungsnormen ständig, sodass ein festes Modell schnell an Wirksamkeit verliert.

Um diesem Problem zu begegnen, wurde der Consensus Clustering LinUCB Bandit (CCLUB) entwickelt. CCLUB ist ein einheitliches System, das das Verhalten von LLMs in Echtzeit steuert, indem es systemweite Prompt‑Routing‑Mechanismen nutzt. Durch einen konservativen Konsens‑Clustering‑Ansatz werden Daten nur innerhalb der Schnittmenge von Nutzen‑ und Sicherheitsähnlichkeitsgraphen zusammengeführt. Dadurch wird verhindert, dass das Modell in semantisch ähnlichen, aber risikodivergenten Kontexten unsichere Verallgemeinerungen vornimmt.

Die theoretische Analyse von CCLUB liefert eine sublineare Regret‑Garantie, was nahelegt, dass das System nahezu optimal arbeitet. Praktische Experimente bestätigen diese Aussage: CCLUB übertrifft starke Vergleichsmodelle um 10,98 % in der kumulativen Belohnung und reduziert die durchschnittliche Suboptimalitätslücke um 14,42 %. Diese Ergebnisse zeigen, dass adaptive, inference‑time Governance ein vielversprechender Ansatz ist, um die Sicherheit und Anpassungsfähigkeit von LLMs langfristig zu gewährleisten.