Tokenisierung von EHR-Daten: Mehr Leistung, weniger Rechenaufwand

Foundation‑Modelle für strukturierte elektronische Gesundheitsakten (EHR) werden auf langen, zeitlich markierten Ereignisreihen vortrainiert, um anpassbare Patientenrepräsentationen zu erlernen. Wie diese Zeitreihen in diskrete Eingabe­tokens umgewandelt werden, entscheidet darüber, welche Informationen erhalten bleiben, wie effizient sie codiert werden und welche Zusammenhänge das Modell lernen muss.

Die Auswirkungen verschiedener Tokenisierungs­designs auf die Leistung und die Rechen­effizienz sind bislang kaum untersucht. In einer systematischen Studie wurde ein Transformer auf pädiatrische EHR‑Daten vortrainiert, wobei die Tokenisierung in drei Dimensionen variiert wurde: Ereigniskodierung, Zeitcodierung und Workflow‑Annotation. Für 74 klinische Vorhersageaufgaben wurde die Fläche unter der ROC‑Kurve (AUROC) gemessen.

Ergebnisse zeigten, dass die Kombination aus gemeinsamer Ereigniskodierung und positionsbasierter Zeitcodierung die meisten Aufgaben (73 / 74 bzw. 71 / 74) übertraf und gleichzeitig 39,5 % bzw. 9,6 % weniger Fließkommaoperationen beim Vortraining benötigte. Ablationsanalysen ergaben, dass der Vorteil auf eine höhere lokale Bindungseffizienz zurückzuführen ist: Code‑Attribut‑Paare werden zu einzelnen Tokens zusammengefasst, statt über mehrere Tokens verteilt zu werden, die das Modell erst lernen muss.

Eine externe Validierung an einem Erwachsenen‑ICU‑Kohorten‑Datensatz zeigte, dass dieser Vorteil trotz erheblicher Vokabularunterschiede generalisiert, während zeitliche und Workflow‑Effekte institutionenspezifisch bleiben. Die Studie demonstriert, dass die Tokenisierung ein praktikabler Hebel ist, um sowohl die Leistung als auch die Effizienz von EHR‑Foundation‑Modellen zu steigern.