QuitoBench: Hochwertiger Open-Source-Benchmark für Zeitreihenprognosen

In einer Welt, in der Zeitreihenprognosen in Finanzen, Gesundheitswesen und Cloud‑Computing unverzichtbar sind, hat ein entscheidender Engpass die Forschung gehemmt: die fehlende Verfügbarkeit großer, qualitativ hochwertiger Benchmarks. Mit dem neuen Open‑Source-Benchmark QuitoBench wird dieses Problem endlich angegangen.

QuitoBench basiert auf dem riesigen Quito-Korpus, der über eine Milliarde Zeitreihen aus dem Anwendungstrafik von Alipay in neun Geschäftsdomänen umfasst. Der Benchmark deckt acht Kombinationen aus Trend, Saisonalität und Vorhersagbarkeit ab und fokussiert sich dabei auf prognoserelevante Eigenschaften statt auf herkömmliche Domänenlabels.

Bei der Bewertung von zehn Modellen – darunter Deep‑Learning‑Ansätze, Foundation‑Modelle und klassische statistische Baselines – wurden 232.200 Evaluationseinheiten analysiert. Die Ergebnisse liefern vier zentrale Erkenntnisse:

• Ein Kontextlängen‑Übergang: Deep‑Learning‑Modelle schneiden bei kurzen Kontexten (L = 96) besser ab, während Foundation‑Modelle bei langen Kontexten (L ≥ 576) dominieren.
• Die Vorhersagbarkeit ist der wichtigste Schwierigkeitsfaktor und führt zu einer MAE‑Differenz von 3,64 × zwischen den Regimen.
• Deep‑Learning‑Modelle erreichen vergleichbare oder bessere Leistungen als Foundation‑Modelle, obwohl sie 59 mal weniger Parameter besitzen.
• Die Erhöhung der Trainingsdatenmenge wirkt sich für beide Modellfamilien deutlich stärker aus als die Vergrößerung der Modellgröße.

Diese Befunde wurden durch starke Konsistenz über verschiedene Benchmarks und Metriken hinweg bestätigt. Durch die offene Veröffentlichung von QuitoBench wird eine reproduzierbare, regimespezifische Evaluierung für die Zeitreihenprognoseforschung ermöglicht und damit ein bedeutender Schritt zur Beschleunigung von Fortschritten in diesem wichtigen Feld.