Neuer Set-Transformer strukturbewussten Attention-Biasen verbessert Zeitreihen

In der Analyse von elektronischen Gesundheitsakten (EHR) stellen unregelmäßige, asynchrone multivariate Zeitreihen eine große Herausforderung dar. Der neue Ansatz, der als Structure-Aware Set Transformer (STAR) bezeichnet wird, kombiniert die Vorteile von Set-Tokenisierung mit gezielten Attention-Biasen, um sowohl zeitliche Lokalität als auch Variable‑Typ-Interaktionen zu berücksichtigen.

STAR fügt dem Soft‑Attention-Mechanismus zwei effiziente Bias‑Komponenten hinzu: einen zeitlichen Lokalitäts­penalty, der die Distanz zwischen Ereignissen mit einer lernbaren Zeitskala gewichtet, und eine Variable‑Typ‑Affinitätsmatrix, die die Kompatibilität zwischen unterschiedlichen Messgrößen erfasst. Diese beiden Elemente ermöglichen es dem Modell, die inhärente Struktur der Daten zu nutzen, ohne auf ein Rasterformat angewiesen zu sein, das häufig Imputations‑ oder Maskierungsprobleme mit sich bringt.

In umfangreichen Benchmarks auf drei intensivmedizinischen Vorhersageaufgaben – CPR‑Erkennung, Mortalitätsprognose und Vasopressormonatierung – erzielte STAR-Set beeindruckende Ergebnisse: AUC/APR von 0.7158/0.0026 bei CPR, 0.9164/0.2033 bei Mortalität und 0.8373/0.1258 bei Vasopressoren. Diese Leistungen übertrafen sowohl klassische Raster‑ als auch frühere Set‑Baselines und zeigen, dass die lernbaren Zeit‑ und Variable‑Biases nicht nur die Genauigkeit steigern, sondern auch interpretierbare Einblicke in zeitliche Zusammenhänge und Variable‑Interaktionen liefern.

Der STAR-Set Transformer stellt damit ein praktisches Plug‑in für kontextbewusste Zeitreihenmodelle dar und eröffnet neue Möglichkeiten für die Analyse asynchroner klinischer Daten.