LLMs im realen Verhaltenstest: Benchmark für lange Zeiträume und Szenarien

Die rasante Entwicklung großer Sprachmodelle (LLMs) hat das Potenzial eröffnet, einen universellen Benutzersimulator zu schaffen. Trotz dieser Fortschritte bleiben die bisherigen Benchmarks stark eingeschränkt: Sie beschränken sich auf einzelne Szenarien, enge Aktionsräume oder synthetische Daten und fassen damit die komplexe, ganzheitliche Natur menschlichen Verhaltens nicht ab.

Um diese Lücke zu schließen, präsentiert das neue Benchmark „OmniBehavior“. Es ist das erste Simulationsbenchmark, das ausschließlich auf realen Daten basiert und lange Zeiträume, übergreifende Szenarien sowie heterogene Verhaltensmuster in einem einheitlichen Rahmen integriert.

Durch die Analyse von OmniBehavior konnten die Autoren zeigen, dass Datensätze mit isolierten Szenarien ein Tunnelblick erzeugen. Im Gegensatz dazu erfordert echte Entscheidungsfindung langfristige, über mehrere Szenarien hinweg verlaufende kausale Ketten.

Die umfangreichen Tests an führenden LLMs verdeutlichen, dass aktuelle Modelle Schwierigkeiten haben, diese komplexen Verhaltensweisen akkurat zu simulieren. Selbst bei erweiterten Kontextfenstern bleibt die Leistung stagnierend.

Ein systematischer Vergleich zwischen simulierten und authentischen Verhaltensdaten offenbart einen fundamentalen strukturellen Bias: LLMs tendieren dazu, sich einem positiven Durchschnitts­charakter anzunähern, zeigen Hyperaktivität, homogenisieren Personas und neigen zu einer utopischen Verzerrung. Dadurch gehen individuelle Unterschiede und seltene Verhaltensformen verloren.

Diese Erkenntnisse unterstreichen die Notwendigkeit, zukünftige Simulationsforschung auf höhere Realitätsnähe auszurichten und Bias-Reduktion sowie die Erhaltung von Individualität und Long‑Tail‑Verhalten in den Fokus zu rücken.