Neues Benchmark A-MBER misst emotionale Gedächtnisfähigkeiten von KI-Assistenten

KI‑Assistenten, die über längere Zeit mit Nutzern interagieren, müssen deren aktuelles emotionales Befinden erkennen, um angemessen und persönlich zu antworten. Bisher wurden solche Fähigkeiten jedoch kaum systematisch getestet, weil die meisten Datensätze nur kurzfristige Emotionen abbilden und Langzeit‑Gedächtnis‑Benchmarks sich auf Faktenwissen konzentrieren.

Mit dem neuen Affective Memory Benchmark for Emotion Recognition (A‑MBER) wird diese Lücke geschlossen. Das Benchmark prüft, ob ein Modell aus dem Verlauf mehrerer Interaktions‑Sitzungen die aktuelle Stimmung des Nutzers korrekt einschätzen kann. Dabei muss das System nicht nur die Emotion bestimmen, sondern auch die relevanten historischen Hinweise identifizieren und seine Interpretation nachvollziehbar begründen.

A‑MBER entsteht durch einen mehrstufigen Prozess: Zunächst wird ein Gesprächsverlauf generiert, anschließend annotiert, Fragen konstruiert und schließlich in ein einheitliches Paket überführt. Der Aufbau ermöglicht gezielte Tests für Urteil, Abruf und Erklärung, während gleichzeitig verschiedene Robustheits‑Szenarien – etwa Modus‑Degradation oder fehlende Evidenz – eingebaut werden.

In den Experimenten wurden Modelle unter Bedingungen mit lokalem Kontext, langem Kontext, abgerufenem Gedächtnis, strukturiertem Gedächtnis und Gold‑Evidenz verglichen. Die Ergebnisse zeigen, dass A‑MBER besonders differenzierend wirkt und damit ein wertvolles Werkzeug für die Entwicklung emotional intelligenter KI‑Assistenten darstellt.