Expert Personas verbessern LLM-Ausrichtung, schaden Genauigkeit – PRISM hilft

Eine neue Untersuchung aus dem arXiv-Repository zeigt, dass Persona‑Prompting große Chancen bietet, die Tonalität und das Muster von Large Language Models (LLMs) gezielt zu steuern. Gleichzeitig kann die Genauigkeit bei generativen Aufgaben leiden, wenn Expert Personas ohne sorgfältige Abstimmung eingesetzt werden.

Frühere Studien liefern gemischte Ergebnisse: Einige berichten von Leistungssteigerungen in spezifischen Domänen und einer erhöhten Datenvielfalt bei synthetischen Datensätzen, während andere kaum oder sogar negative Effekte auf die allgemeine Nützlichkeit feststellen. Um die Vorteile voll auszuschöpfen und die Nachteile zu vermeiden, ist eine tiefgehende Analyse der zugrunde liegenden Mechanismen unerlässlich.

Die aktuelle Arbeit untersucht, wie Modelloptimierung, Aufgabentyp, Promptlänge und Platzierung die Wirksamkeit von Expert Personas bei instruction‑tuned und reasoning‑basierten LLMs beeinflussen. Die Ergebnisse zeigen klare Bedingungen, unter denen Personas scheitern oder erfolgreich sind, und liefern wertvolle Einblicke für die Praxis.

Auf Basis dieser Erkenntnisse wurde PRISM (Persona Routing via Intent‑based Self‑Modeling) entwickelt – eine Pipeline, die eine Intent‑basierte Expert Persona selbstständig in einen LoRA‑Adapter distilliert. Der Prozess benötigt keine externen Daten, Modelle oder Wissen und erhöht die menschliche Präferenz sowie die Sicherheit bei generativen Aufgaben, während die Genauigkeit bei diskriminativen Aufgaben erhalten bleibt. Dabei bleibt der Speicher- und Rechenaufwand minimal.

PRISM demonstriert, dass Persona‑Prompting nicht nur die Ausrichtung von LLMs verbessern, sondern gleichzeitig die Genauigkeit schützen kann. Damit wird ein praktikabler Ansatz für die Integration von Expert Personas in realen Anwendungen geschaffen.