LH-Bench: Neue Benchmark für subjektive Unternehmensaufgaben

Während große Sprachmodelle bei klar definierten Aufgaben wie Mathematik oder Programmieren glänzen, sind echte Unternehmensaufgaben oft subjektiv und stark kontextabhängig. Der Erfolg hängt von Unternehmenszielen, Nutzerabsichten und der Qualität von Zwischenergebnissen in langen, mehrstufigen Arbeitsabläufen ab.

Um diese Komplexität zu erfassen, stellt LH‑Bench ein dreistufiges Evaluationskonzept vor. Erstens werden von Experten erstellte Rubriken eingesetzt, die den Modellen das nötige Fachwissen liefern, um subjektive Arbeiten zu bewerten. Zweitens werden sorgfältig kuratierte Referenzartefakte bereitgestellt, die schrittweise Belohnungen ermöglichen – etwa Kapitel‑weise Anmerkungen bei Content‑Aufgaben. Drittens erfolgt die Validierung durch paarweise menschliche Präferenzbewertungen, die die Konsistenz der Ergebnisse sichern.

Die Studie zeigt, dass von Experten erstellte Rubriken deutlich zuverlässiger sind als von Modellen selbst generierte (Kappa 0,60 vs. 0,46). Menschliche Präferenzurteile bestätigen zudem die klare Trennung der Top‑Leistungen (p < 0,05). Damit beweist LH‑Bench, dass eine fachlich fundierte Bewertung skalierbar und gleichzeitig zuverlässig bleibt.

Alle Datensätze werden öffentlich zugänglich gemacht. Die Benchmark wurde bereits in zwei realen Umgebungen getestet: Figma‑zu‑Code mit 33 echten .fig‑Aufgaben über die Figma‑API und Programmatic Content mit 41 Kursen, 183 einzeln bewerteten Kapiteln auf einer Plattform, die täglich über 30 Benutzer bedient.