Federated Learning löst Heterogenität bei Zeitreihen-Foundation-Modellen

In der Welt der Zeitreihen ist die Heterogenität deutlich ausgeprägter als bei Bild- oder Sprachdaten, weil sich die zeitlichen Dynamiken stark zwischen den Domänen und Aufgaben unterscheiden. Traditionelle Ansätze, die große Datensätze in gemischten Batches zusammenführen, leiden häufig unter Gradientenkonflikten, die die Qualität der erlernten Repräsentationen mindern.

Um diesem Problem entgegenzuwirken, wurde ein fein abgestimmtes Lernverfahren entwickelt, das invariant Wissen aus heterogenen Serien extrahiert und gleichzeitig die Interferenz zwischen den Domänen reduziert. Dabei wird die Heterogenität in zwei Ebenen unterschieden: inter‑Domänen‑ und intra‑Domänen‑Heterogenität.

Das vorgeschlagene Federated‑Learning‑Modell adressiert die intra‑Domänen‑Konflikte, indem es lokale Regularisierung einsetzt, die domäneninvariante und semantisch konsistente Repräsentationen erzwingt. Für die inter‑Domänen‑Diskrepanzen sorgt eine domänenbewusste Aggregation, die die Zusammenarbeit zwischen den verschiedenen Domänen verstärkt.

Experimentelle Ergebnisse auf einer Vielzahl von Benchmarks zeigen, dass Zeitreihen‑Foundation‑Modelle, die mit dieser Methode trainiert wurden, sowohl bei punktuellen als auch bei probabilistischen Vorhersagen die zentralen und federated‑Learning‑Baselines übertreffen. Darüber hinaus erzielen sie bei Zero‑Shot‑Aufgaben konkurrenzfähige Leistungen in großem Maßstab und bieten damit einen flexiblen Weg, TSFMs von Grund auf in heterogenen Umgebungen zu trainieren.