TML-Bench: Neuer Tabellengrenzwert für autonome Data-Science-Agenten

Autonome Coding‑Agenten können in kurzer Zeit starke Baselines für tabellarische Aufgaben erzeugen – ähnlich wie bei Kaggle‑Wettbewerben. Der praktische Nutzen hängt jedoch stark davon ab, ob die Agenten end‑to‑end korrekt arbeiten und unter strengen Zeitlimits zuverlässig bleiben.

In dem vorliegenden Beitrag wird TML‑Bench vorgestellt, ein neues Benchmark‑Framework, das speziell für Data‑Science‑Agenten auf tabellarischen ML‑Aufgaben entwickelt wurde. Es ermöglicht die systematische Bewertung von Agenten in einer realitätsnahen Umgebung.

Die Autoren haben zehn Open‑Source‑LLMs auf vier unterschiedlichen Kaggle‑Wettbewerben getestet und dabei drei Zeitbudgets (240 s, 600 s und 1200 s) berücksichtigt. Für jede Kombination aus Modell, Aufgabe und Zeitbudget wurden fünf unabhängige Läufe durchgeführt.

Ein Lauf gilt als erfolgreich, wenn das Modell eine gültige Einreichung erzeugt und einen privaten Holdout‑Score für versteckte Labels erzielt, die dem Agenten nicht zugänglich sind. Auf diese Weise wird die tatsächliche Leistungsfähigkeit unter realen Bedingungen gemessen.

Die Ergebnisse zeigen Medianleistungen, Erfolgsraten und die Variabilität zwischen den Läufen. Das Modell MiniMax‑M2.1 erzielt dabei die beste Gesamtleistung über alle vier Wettbewerbe hinweg, wenn die primäre Aggregationsmethode verwendet wird. Zudem steigt die durchschnittliche Performance mit zunehmendem Zeitbudget, während die Skalierung bei einigen Modellen noch unregelmäßig wirkt.

Alle Code‑ und Datensätze sind auf GitHub verfügbar: https://github.com/MykolaPinchuk/TML-bench/tree/master.