Kalibrierung von Graphgeneratoren: Permutationsunabhängige Likelihoods

In einer kürzlich veröffentlichten Studie wird gezeigt, dass die Wahrscheinlichkeitsschätzungen von autoregressiven Graphgeneratoren nur dann sinnvoll sind, wenn sie über sämtliche linearisierte Darstellungen eines Graphen hinweg konsistent bleiben. Der Fokus liegt dabei auf der Frage, wie man die Modellvorhersagen so kalibriert, dass sie nicht von der gewählten Reihenfolge der Knoten abhängen.

Die Autoren nutzen die neuartige Methode „Segmented Eulerian Neighborhood Trails“ (SENT), die Graphen in Sequenzen überführt, die von Sprachmodellen exakt dekodiert werden können. Da jedoch mehrere äquivalente Linearierungen eines Graphen existieren, führen sie die „Linearization Uncertainty“ (LU) ein – ein Maß, das die Variation der negativen Log-Likelihood (NLL) über alle gleichwertigen Linearisierungen quantifiziert.

Durch das Training von Transformer‑Modellen mit vier unterschiedlichen Linearisierungsstrategien auf zwei Datensätzen zeigen die Ergebnisse, dass Modelle, die auf einer einseitigen Reihenfolge trainiert wurden, zwar in ihrer eigenen Reihenfolge niedrigere NLL‑Werte erzielen, aber bei zufälligen Permutationen einen um zwei Größenordnungen höheren Calibration‑Error aufweisen. Auf dem molekularen Graphbenchmark QM9 korreliert die NLL der generierten Graphen schwach mit der Molekülstabilität (AUC = 0,43), während LU ein deutlich besseres Ranking liefert (AUC = 0,85). Dies deutet darauf hin, dass die Permutations‑basierte Bewertung ein verlässlicheres Qualitätsmaß für generierte Moleküle darstellt.

Die Autoren stellen ihren Code öffentlich zur Verfügung (https://github.com/lauritsf/linearization-uncertainty) und betonen, dass die Einführung von LU ein wichtiger Schritt ist, um autoregressive Graphgeneratoren robust und verlässlich einzusetzen.