GISTBench: LLMs auf Herz und Nieren geprüft – Nutzerverständnis im Fokus

Mit dem neuen Benchmark GISTBench wird die Fähigkeit großer Sprachmodelle (LLMs) auf die Probe gestellt, Nutzer aus deren Interaktionshistorien in Empfehlungssystemen zu verstehen. Im Gegensatz zu herkömmlichen Benchmarks, die sich auf die Genauigkeit von Item-Vorhersagen konzentrieren, misst GISTBench, wie gut LLMs Nutzerinteressen aus Engagementdaten extrahieren und verifizieren können.

Zur Bewertung wurden zwei innovative Metrikfamilien entwickelt. Die Interest Groundedness (IG) wird in Präzision und Recall unterteilt, um Halluzinationen von Interessen zu bestrafen und gleichzeitig die Abdeckung zu belohnen. Die Interest Specificity (IS) prüft, wie eindeutig die vom Modell verifizierten Nutzerprofile sind. Diese beiden Kennzahlen ermöglichen ein differenziertes Bild der Nutzerverständnisfähigkeiten von LLMs.

Das Benchmark-Dataset besteht aus synthetisch generierten Daten, die auf realen Interaktionen eines globalen Kurzvideo-Platforms basieren. Es enthält sowohl implizite als auch explizite Engagementsignale sowie reichhaltige Textbeschreibungen. Die Echtheit der Daten wurde durch Nutzerumfragen bestätigt, sodass die Ergebnisse eine hohe Relevanz für reale Anwendungen besitzen.

In einer umfassenden Evaluation wurden acht Open-Weight-LLMs mit 7 B bis 120 B Parametern getestet. Die Ergebnisse zeigen deutliche Leistungsengpässe: Insbesondere die Modelle haben Schwierigkeiten, Engagementsignale korrekt zu zählen und den unterschiedlichen Interaktionstypen zuzuordnen. Diese Erkenntnisse legen nahe, dass die Weiterentwicklung von LLMs im Bereich des Nutzerverständnisses noch erhebliche Herausforderungen birgt.