PRIME: Multimodales Pretraining für Krebsprognose trotz fehlender Modalitäten

Ein neues Verfahren namens PRIME nutzt multimodales, selbstüberwachtes Pretraining, um die Prognose von Krebspatienten zu verbessern, auch wenn wichtige Daten fehlen. Das System integriert histopathologische Ganzflächendarstellungen, Genexpressionsprofile und Pathologiebeschreibungen, ohne dass alle Modalitäten vollständig vorhanden sein müssen.

PRIME wandelt die unterschiedlichen Modality-Embeddings in einen einheitlichen Token‑Raum um und verwendet eine gemeinsame Prototypen‑Speicherbank. Durch patientenbezogene Konsens‑Abruf‑Mechanismen werden semantische Imputationen im latenten Raum erzeugt, sodass die Tokens strukturell ausgerichtet bleiben, ohne die Rohsignale rekonstruieren zu müssen.

Das Modell verfolgt zwei ergänzende Lernziele: die Ausrichtung zwischen den Modalitäten und die Konsistenz nach der Fusion, wobei gezielte Datenverluste simuliert werden. Dadurch lernt PRIME robuste Repräsentationen, die auch bei beliebigen Modality‑Untergruppen weiterhin prognostisch wertvoll sind.

In Tests mit dem The Cancer Genome Atlas, bei denen 32 Krebsarten ohne Labels vortrainiert wurden, zeigte PRIME die beste Makro‑Durchschnittsleistung. Für die Vorhersage des Gesamtüberlebens erreichte es einen C‑Index von 0,653, für die 3‑Jahres‑Mortalitätsklassifikation einen AUROC von 0,689 und für die 3‑Jahres‑Recurrence‑Klassifikation einen AUROC von 0,637. Das System bleibt zudem robust, wenn im Testzeitpunkt Daten fehlen, und unterstützt die Skalierbarkeit bei großen Datensätzen.