Dynamic Rejection Steering: LLMs folgen Anweisungen besser

Ein neues Verfahren namens DIRECTER (Dynamic Rejection Steering) hat die Fähigkeit großer Sprachmodelle (LLMs), komplexe Nutzeranweisungen zu befolgen, deutlich verbessert. Während herkömmliche Aktivierungssteuerungen das Modell intern manipulieren, besteht die Gefahr des „Oversteerings“, bei dem die Genauigkeit und Textqualität leiden. DIRECTER begegnet diesem Problem, indem es die Steuergkraft dynamisch anpasst und dabei keine zusätzlichen Trainingsdaten benötigt.

Der Kernmechanismus von DIRECTER ist ein plausibilitätsgesteuerter Decodierungsloop, der die Stärke der Aktivierungssteuerung schrittweise reguliert. Dabei wird die veränderte Ausgabewahrscheinlichkeitsverteilung mit der ursprünglichen verglichen. Ist die steuerte Ausgabe als unwahrscheinlich einzustufen, wird die Steuergkraft schrittweise abgeschwächt. Diese Anpassung erfolgt auf Basis einer einmaligen Aufmerksamkeits‑Sensitivitätsanalyse, die die Schichten des Modells nach ihrem Einfluss auf die Repräsentationen sortiert. Durch die Skalierung des KV‑Caches wird die Steuerung ohne zusätzliche Daten implementiert.

Umfangreiche Tests zeigen, dass DIRECTER die Anweisungsgenauigkeit in verschiedenen Benchmarks um bis zu 6,5 % steigert, ohne die Qualität der generierten Texte oder die Aufgabenfidelity zu beeinträchtigen. Das Verfahren demonstriert, dass ein dynamischer, plausibilitätsbasierter Kontrollmechanismus eine generelle Lösung gegen Oversteering darstellt und sich nahtlos in bestehende Baselines integrieren lässt.