LABBench2: Neuer Benchmark für KI-Systeme in der biologischen Forschung

Die Begeisterung für KI‑gestützte Forschung wächst stetig. Während bisherige Anwendungen von KI in der Wissenschaft von der Schulung spezialisierter Basis‑Modelle bis hin zu autonomen Hypothesen‑Generierungsagenten reichen, wird zunehmend betont, dass Messgrößen für den Fortschritt von KI‑Systemen in realen Forschungsaufgaben entwickelt werden müssen. Hierbei geht es nicht mehr nur um Faktenwissen oder reine Logik, sondern um die Fähigkeit, tatsächlich nützliche wissenschaftliche Arbeit zu leisten.

Der neue Benchmark LABBench2 baut auf dem bereits etablierten LAB‑Bench auf und erweitert dessen Reichweite um fast 1 900 Aufgaben. Dabei werden die gleichen Kernkompetenzen gemessen, jedoch in deutlich realistischeren Szenarien, die den Alltag in der biologischen Forschung besser widerspiegeln. Die Aufgaben decken ein breites Spektrum ab, von Datenanalyse über experimentelles Design bis hin zu der Interpretation komplexer biologischer Ergebnisse.

Eine Bewertung der aktuellen Spitzenmodelle zeigt, dass sich die Leistungen seit LAB‑Bench deutlich verbessert haben. Dennoch weist LABBench2 einen signifikanten Schwierigkeitsanstieg auf: die Genauigkeit der Modelle sinkt je nach Teilaufgabe zwischen 26 % und 46 %. Diese Differenz verdeutlicht, dass trotz Fortschritten noch erheblicher Spielraum für Verbesserungen besteht und LABBench2 als realitätsnaher Maßstab für die Entwicklung von KI‑Tools in der Biologie dient.

Durch die Bereitstellung eines umfangreichen, praxisnahen Testsets soll LABBench2 die Forschungsgemeinschaft unterstützen, KI‑Systeme gezielt zu optimieren und letztlich die Entwicklung von KI‑gestützten Forschungsinstrumenten voranzutreiben.