CoGaze: Kontext- und Blickorientiertes Pretraining für Röntgenaufnahmen

Ein neues Forschungsprojekt namens CoGaze präsentiert einen innovativen Ansatz, um die diagnostische Logik von Radiologen in die Verarbeitung von Röntgenbildern einzubinden. Durch die Kombination von klinischem Kontext und Augenbewegungen soll die bisherige Lücke zwischen Bildanalyse und medizinischem Fachwissen geschlossen werden.

Der Kern von CoGaze ist ein vision‑encoder, der nicht nur das Bild selbst, sondern auch relevante Patientendaten wie Vorgeschichte, Symptome und diagnostische Absicht berücksichtigt. Auf diese Weise wird die Art und Weise nachgebildet, wie Radiologen ihre Entscheidungen strukturieren und gezielt nach Hinweisen suchen.

Zur Verstärkung der Modellleistung nutzt CoGaze ein dreistufiges Lernparadigma. Erstens wird die semantische Ausrichtung zwischen Bild und Text durch ein hybrides, positives kontrastives Lernen sichergestellt. Zweitens werden krankheitsbezogene Vorwissen in die Cross‑Modal‑Repräsentation eingebracht, um spezifische Muster besser zu erkennen. Drittens werden die Augenbewegungen der Radiologen als probabilistische Prioritäten eingesetzt, um die Aufmerksamkeit auf diagnostisch relevante Regionen zu lenken.

Die Ergebnisse sprechen für sich: CoGaze übertrifft aktuelle Spitzenmodelle in einer Vielzahl von Aufgaben. Bei der freien Text‑ und strukturierten Berichtserstellung steigen die F1‑Werte um bis zu 2,0 % und die BLEU‑2‑Metrik um 1,2 %. Für die Zero‑Shot‑Klassifikation verbessert sich der AUROC um 23,2 % und die Precision@1 bei Bild‑Text‑Retrieval um 12,2 %.

Der Code für CoGaze ist öffentlich zugänglich unter https://github.com/mk-runner/CoGaze und bietet Forschern sowie Klinikern die Möglichkeit, die Methode in eigenen Projekten zu nutzen und weiterzuentwickeln.