Neues Olfactory-Perception-Benchmark testet Geruchsverständnis von LLMs

Ein neues Benchmark namens Olfactory Perception (OP) wurde entwickelt, um die Fähigkeit großer Sprachmodelle (LLMs) zu prüfen, über Gerüche zu denken und diese zu beschreiben. Das Ziel ist es, die Grenzen des olfaktorischen Wissens von KI-Systemen zu kartieren und gleichzeitig die Qualität ihrer Antworten zu bewerten.

Das OP-Benchmark umfasst 1 010 Fragen, die in acht Aufgabenbereiche unterteilt sind: Geruchsklassifikation, Identifikation primärer Geruchsbeschreibungen, Einschätzung von Intensität und Angenehmheit, Vorhersage mehrerer Beschreibungen, Ähnlichkeit von Mischungen, Aktivierung olfaktorischer Rezeptoren und die Identifikation von Gerüchen aus realen Quellen. Jede Frage wird in zwei Prompt-Formaten gestellt – als chemische Bezeichnung des Verbindungsnamens und als isomerische SMILES‑Repräsentation – um zu untersuchen, wie unterschiedliche molekulare Darstellungen die Leistung beeinflussen.

Bei der Bewertung von 21 Modellkonfigurationen aus führenden Modellfamilien zeigte sich, dass Prompt-Formate mit Verbindungsnamen konsequent bessere Ergebnisse liefern als SMILES, mit einer Verbesserung von 2,4 bis 18,9 Prozentpunkten (durchschnittlich etwa 7 Prozentpunkte). Das bestplatzierte Modell erreichte eine Gesamtgenauigkeit von 64,4 %, was sowohl Fortschritte als auch erhebliche Lücken im olfaktorischen Denken von LLMs verdeutlicht.

Ein zusätzlicher Test des OP-Benchmarks in 21 Sprachen ergab, dass die Aggregation von Vorhersagen über mehrere Sprachen hinweg die Genauigkeit steigert. Das Ensemble-Modell erzielte einen AUROC von 0,86, was die Leistungsverbesserung durch sprachliche Vielfalt unterstreicht. Diese Ergebnisse zeigen, dass LLMs nicht nur visuelle oder auditive Informationen verarbeiten können, sondern auch in der Lage sein sollten, olfaktorische Daten zu verstehen und zu nutzen.