LLMs im wissenschaftlichen Durchbruch: Neues Benchmark zeigt Stärken und Grenzen

In den letzten Jahren haben große Sprachmodelle (LLMs) einen bemerkenswerten Aufschwung im wissenschaftlichen Forschungsbereich erlebt. Trotz ihrer beeindruckenden Fähigkeiten stoßen die üblichen Benchmarks jedoch an ihre Grenzen, weil sie vor allem dekontextualisiertes Wissen prüfen und die iterativen Prozesse der Hypothesenbildung, Experimentgestaltung und Ergebnisinterpretation vernachlässigen.

Um diese Lücken zu schließen, hat ein internationales Team ein neues, scenariospezifisches Benchmarking-Framework entwickelt. Dabei definieren Fachexperten echte Forschungsprojekte in Biologie, Chemie, Materialwissenschaften und Physik und zerlegen sie in modulare Szenarien. Aus jedem Szenario werden sorgfältig geprüfte Fragen extrahiert, die die Modelle beantworten müssen.

Das Bewertungssystem arbeitet in zwei Ebenen: Erstens die Fragegenauigkeit innerhalb der Szenarien, und zweitens die Projektleistung, bei der die Modelle testbare Hypothesen formulieren, Simulationen oder Experimente entwerfen und die Resultate interpretieren müssen. Diese doppelte Perspektive spiegelt die reale wissenschaftliche Arbeitsweise deutlich wider.

Die Anwendung des neuen Frameworks auf die führenden LLMs zeigte, dass diese Modelle trotz ihrer Größe und ihres Trainings noch deutlich hinter den Erwartungen zurückbleiben. Die Leistungsverbesserung durch einfaches Skalieren der Modelle ist begrenzt, und systematische Schwächen tauchen bei Modellen verschiedener Anbieter auf. Die große Leistungsvarianz führt sogar dazu, dass je nach Projekt ein anderes Modell als „bestes“ gilt – ein Hinweis darauf, dass wir noch weit von einer generellen wissenschaftlichen Superintelligenz entfernt sind.

Dennoch demonstrieren LLMs bereits vielversprechende Ergebnisse in einer breiten Palette von Forschungsaufgaben, insbesondere wenn die Szenarien selbst niedrig bewertet werden. Dies unterstreicht die Bedeutung von gezielter Exploration und der Chance auf serendipitöse Entdeckungen, die von diesen Modellen unterstützt werden können.