PROBE: Neues Bewertungsframework für präzisere Knowledge‑Graph‑Vervollständigung

Die Vervollständigung von Knowledge Graphs (KG) soll fehlende Fakten vorhersagen. Trotz zahlreicher Modelle bleibt die Bewertung dieser Systeme bislang unzureichend, weil gängige Metriken zwei entscheidende Aspekte vernachlässigen: die predictive sharpness – wie streng ein einzelnes Ergebnis bewertet wird – und die popularity‑bias robustness – die Fähigkeit, seltene Entitäten korrekt zu erkennen.

Um beide Perspektiven abzubilden, stellt das neue Framework PROBE vor. Es kombiniert einen Rank Transformer (RT), der die Bewertung eines Vorhersageergebnisses an ein gewünschtes Schärfeniveau anpasst, mit einem Rank Aggregator (RA), der die Resultate unter Berücksichtigung der Popularität der Entitäten zusammenführt.

Experimentelle Tests an realen Knowledge Graphs zeigen, dass herkömmliche Metriken die Genauigkeit von KGC‑Modellen häufig über- oder unterschätzen. PROBE liefert dagegen ein umfassenderes Bild und zuverlässigere Bewertungsergebnisse, was die Entwicklung und Auswahl von KGC‑Modellen deutlich verbessert.