Timer‑S1: Milliarden‑Skaliges Zeitreihen‑Modell mit Serial Scaling
Timer‑S1 ist ein neues Mixture‑of‑Experts‑Modell für Zeitreihen, das mit 8,3 Milliarden Parametern und 0,75 Milliarden aktivierten Parametern pro Token sowie einer Kontextlänge von 11 500 Tokens die Grenzen bisheriger M…
- Timer‑S1 ist ein neues Mixture‑of‑Experts‑Modell für Zeitreihen, das mit 8,3 Milliarden Parametern und 0,75 Milliarden aktivierten Parametern pro Token sowie einer Konte…
- Um die Skalierbarkeitsengpässe zu überwinden, setzt Timer‑S1 Serial Scaling in drei Dimensionen ein: Architektur, Datensatz und Trainingspipeline.
- Durch die Kombination sparsamer TimeMoE‑Blöcke und generischer TimeSTP‑Blöcke für Serial‑Token‑Prediction nutzt das Modell serielle Berechnungen, die langfristige Vorher…
Timer‑S1 ist ein neues Mixture‑of‑Experts‑Modell für Zeitreihen, das mit 8,3 Milliarden Parametern und 0,75 Milliarden aktivierten Parametern pro Token sowie einer Kontextlänge von 11 500 Tokens die Grenzen bisheriger Modelle sprengt.
Um die Skalierbarkeitsengpässe zu überwinden, setzt Timer‑S1 Serial Scaling in drei Dimensionen ein: Architektur, Datensatz und Trainingspipeline. Durch die Kombination sparsamer TimeMoE‑Blöcke und generischer TimeSTP‑Blöcke für Serial‑Token‑Prediction nutzt das Modell serielle Berechnungen, die langfristige Vorhersagen verbessern und gleichzeitig das problematische Rolling‑Inference sowie die damit einhergehende Fehlerakkumulation vermeiden.
Für ein hochwertiges, unvoreingenommenes Training wurde TimeBench – ein Korpus mit einer Billion Zeitpunkten – zusammengestellt. Ergänzt wird das Dataset durch sorgfältige Datenaugmentation, um Vorhersagebias zu reduzieren. Zusätzlich wird ein Post‑Training‑Schritt eingeführt, der weiteres Pre‑Training und die Verlängerung des langen Kontextbereichs umfasst, um sowohl Kurz- als auch Langzeitperformance zu steigern.
Auf dem GIFT‑Eval‑Leaderboard erzielt Timer‑S1 die besten MASE‑ und CRPS‑Werte unter allen vortrainierten Modellen und setzt damit neue Maßstäbe für Zeitreihen‑Forecasting. Das Modell wird veröffentlicht, um weitere Forschung zu ermöglichen.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.