PanFoMa: Leichtgewichtiges Modell für Pan‑Cancer‑Analyse

PanFoMa ist ein neues, leichtgewichtiges Hybridmodell, das die Stärken von Transformers und modernen State‑Space‑Modellen kombiniert. Durch diesen Ansatz erzielt es eine optimale Balance zwischen hoher Genauigkeit und geringer Rechenlast – ein entscheidender Fortschritt für die Analyse von Tumorheterogenität auf Einzelzell‑Ebene.

Das Modell besteht aus zwei modularen Komponenten. Der Front‑End‑Encoder nutzt geteilte Self‑Attention‑Schichten, um komplexe, positionsunabhängige Gen‑Interaktionen zu erfassen. Der Back‑End‑Decoder integriert anschließend globalen Kontext mithilfe eines linearen State‑Space‑Modells, das die Skalierbarkeit von Mamba nutzt. Diese Architektur bewahrt die Ausdruckskraft von Transformers, während sie gleichzeitig die Effizienz von Mamba für große Transkriptom‑Datensätze nutzt.

Zur Bewertung wurde PanFoMaBench erstellt – ein umfangreiches Pan‑Cancer‑Benchmark mit über 3,5 Millionen hochqualitativen Einzelzellen aus 33 Krebs‑Subtypen. Die Daten wurden durch einen strengen Vorverarbeitungspipeline aufbereitet, um Konsistenz und Vergleichbarkeit sicherzustellen.

In Experimenten übertraf PanFoMa die führenden Modelle auf dem eigenen Benchmark um 4 % und erzielte signifikante Verbesserungen bei mehreren öffentlichen Aufgaben: Zelltyp‑Annotation (+7,4 %), Batch‑Integration (+4 %) und Multi‑Omics‑Integration (+3,1 %). Der Quellcode ist öffentlich zugänglich unter GitHub.