LLM‑Moralentscheidungen: Wie leicht sie durch Perspektivwechsel manipuliert werden

In einer aktuellen Untersuchung wurde gezeigt, dass große Sprachmodelle, die immer häufiger für alltägliche moralische Ratschläge eingesetzt werden, bei der Beurteilung von Dilemmas sehr empfindlich auf kleine Änderungen reagieren. Die Forscher haben ein neues Testverfahren entwickelt, um die Stabilität und Manipulierbarkeit dieser Urteile zu prüfen, ohne die zugrunde liegende moralische Spannung zu verändern.

Das Experiment stützte sich auf 2 939 Konfliktszenarien, die aus dem Reddit‑Forum r/AmItheAsshole zwischen Januar und März 2025 gesammelt wurden. Für jedes Szenario wurden drei Arten von Störungen erzeugt: oberflächliche Textänderungen, Perspektivwechsel (z. B. Änderung der Erzählstimme) und gezielte Überzeugungselemente wie soziale Beweise oder Opferrahmen. Zusätzlich wurden verschiedene Prompting‑Protokolle getestet, um die Auswirkungen von Anweisungsposition und Ausgabeformat zu untersuchen.

Die Ergebnisse sind deutlich: Oberflächliche Änderungen führten zu einer Flip‑Rate von nur 7,5 % und lagen damit im Bereich der üblichen Selbstkonsistenz‑Rauschwerte (4–13 %). Im Gegensatz dazu verursachten Perspektivwechsel eine deutlich höhere Instabilität von 24,3 %. Etwa 38 % der Dilemmas blieben bei oberflächlichen Störungen unverändert, wechselten jedoch bei Perspektivänderungen ihre Bewertung. Dies deutet darauf hin, dass die Modelle die Erzählstimme als pragmatischen Hinweis nutzen.

Die größte Schwankung zeigte sich bei moralisch ambivalenten Fällen, in denen keine Partei eindeutig Schuld trägt. Hier waren die Urteile besonders anfällig für Änderungen. Darüber hinaus bewiesen die Überzeugungselemente systematische Richtungsverschiebungen, während die Wahl des Prompting‑Protokolls den größten Einfluss auf die Übereinstimmung zwischen den Modellen hatte – die Konsistenz zwischen strukturierten Protokollen betrug lediglich 67,6 % (Kappa = 0,55).

Diese Erkenntnisse unterstreichen die Notwendigkeit, bei der Nutzung von Sprachmodellen für moralische Entscheidungsfindung vorsichtig zu sein. Nur durch robuste Testverfahren und ein Bewusstsein für die Einflussfaktoren können wir sicherstellen, dass die gelieferten Ratschläge zuverlässig und nicht leicht manipuliert werden können.