Neuer Graph-Transformer mit serialisierten Graph-Tokens erzielt Rekordleistungen

Ein neuer Ansatz für Graph-Transformer, der auf serialisierten Graph-Tokens basiert, hat die Grenzen der graphbasierten Lernverfahren neu definiert. Durch die Umwandlung von Knoteninformationen in eine sequenzielle Token-Repräsentation nutzt das Modell die volle Kraft der Selbstaufmerksamkeit, um komplexe Interaktionen zwischen Knoten zu erfassen.

Der Schlüssel liegt in einer innovativen Graph-Serialisierung, die Knotenwerte in eine geordnete Token-Sequenz überführt und dabei automatisch Positionskodierungen einbezieht. Anschließend werden mehrere Schichten der Selbstaufmerksamkeit auf diese Sequenz angewendet, wodurch ein vielschichtiges Verständnis der graphischen Struktur entsteht.

In umfangreichen Experimenten über mehrere graphenbasierte Benchmarks hinweg übertrifft das neue Modell die bisherigen Bestleistungen. Ablationsstudien bestätigen die Wirksamkeit der einzelnen Komponenten und zeigen, dass die serialisierte Token-Strategie entscheidend zur verbesserten Ausdruckskraft beiträgt.