ELT-Bench-Verified: Benchmark-Fehler unterschätzen KI-Agenten-Fähigkeiten

In einer aktuellen Untersuchung wurde das ELT-Bench, der erste Benchmark für die komplette Konstruktion von Extract‑Load‑Transform‑Pipelines, neu bewertet. Anfangs zeigten KI‑Agenten nur geringe Erfolgsraten, was den Eindruck erweckte, sie seien praktisch nutzlos. Die neue Analyse zeigt jedoch, dass die Fähigkeiten der Agenten stark unterschätzt wurden.

Durch die erneute Bewertung mit hochmodernen Sprachmodellen lässt sich feststellen, dass die Extraktions‑ und Ladephase weitgehend gelöst ist, während die Transformationsleistung deutlich besser geworden ist. Diese Fortschritte verdeutlichen, dass die Agenten bereits über ein solides Fundament verfügen, das zuvor nicht erkannt wurde.

Ein zentrales Element der Studie ist die Auditor‑Corrector‑Methodik, die skalierbare, von LLMs getriebene Ursachenanalysen mit rigoroser menschlicher Validierung kombiniert. Mit einer inter‑Annotator‑Agreement‑Rate von 0,85 wurden Fehler im Benchmark identifiziert – von starren Evaluationsskripten über mehrdeutige Spezifikationen bis hin zu falschen Ground‑Truth‑Daten. Diese Mängel führten zu einer systematischen Unterbewertung korrekter Agentenausgaben.

Auf Basis dieser Erkenntnisse wurde ELT‑Bench‑Verified entwickelt, ein überarbeiteter Benchmark mit verfeinerter Evaluationslogik und korrigierten Referenzdaten. Die erneute Bewertung zeigt, dass die Verbesserungen ausschließlich auf die Benchmark‑Korrektur zurückzuführen sind. Die Ergebnisse unterstreichen, dass sowohl rasche Modellverbesserungen als auch die Qualität von Benchmarks entscheidend sind – ein Befund, der auch bei anderen Aufgaben wie Text‑to‑SQL-Benchmarks beobachtet wurde.