Adaptive Prompting steigert Qualität von KI-generierten Persönlichkeitstests

Eine neue Monte‑Carlo‑Simulation aus dem arXiv untersucht, wie unterschiedliche Prompt‑Engineering‑Strategien die Qualität von Persönlichkeitstests, die mit großen Sprachmodellen (LLM) generiert werden, beeinflussen. Die Studie nutzt das AI‑GENIE‑Framework, um Item‑Pools für die Big‑Five‑Persönlichkeitsmerkmale zu erstellen und anschließend mit Netzwerk‑Psychometrie zu evaluieren und zu reduzieren.

Die Forscher testeten vier Prompt‑Designs – Zero‑Shot, Few‑Shot, persona‑basiert und adaptive – in Kombination mit verschiedenen Modelltemperaturen und LLM‑Versionen. Dabei zeigte sich, dass AI‑GENIE die strukturelle Validität der Items nach der Reduktion zuverlässig verbessert. Der zusätzliche Nutzen war dabei umgekehrt proportional zur Ausgangsqualität des Item‑Pools.

Adaptive Prompting erwies sich als besonders wirksam: Es senkte die semantische Redundanz drastisch, steigerte die strukturelle Validität vor der Reduktion und bewahrte einen deutlich größeren Item‑Pool. Diese Vorteile blieben bei den meisten Modellen über verschiedene Temperatur‑Einstellungen hinweg konstant, was darauf hindeutet, dass adaptive Strategien die üblichen Kompromisse zwischen Kreativität und psychometrischer Kohärenz mildern.

Eine Ausnahme zeigte sich bei GPT‑4o bei hohen Temperaturen, wo adaptive Constraints die Stochasticität stärker beeinflussten. Trotz dieser Modell‑spezifischen Sensitivität bleibt adaptive Prompting die stärkste Methode, insbesondere bei neueren, leistungsfähigeren Modellen.

Die Ergebnisse betonen die Bedeutung von adaptive Prompting für die Entwicklung skalierbarer, KI‑generierter psychometrischer Instrumente und legen den Grundstein für weiterführende Untersuchungen zu Modell‑Prompt‑Interaktionen.