Erklärung, Verifikation und Ausrichtung semantischer Hierarchien in VLMs

Vision‑Language‑Modelle (VLMs) wie CLIP ermöglichen beeindruckende Bild‑Text‑Retrieval‑ und Zero‑Shot‑Klassifikationsfähigkeiten, doch die semantische Struktur ihres gemeinsamen Embedding‑Raums bleibt bislang wenig untersucht. In einer neuen Studie wird ein Post‑Hoc‑Framework vorgestellt, das diese Struktur systematisch erklärt, überprüft und an menschliche Ontologien anpasst.

Der Ansatz beginnt mit einer agglomerativen Cluster‑Analyse der Klassenzentroiden, um eine binäre Hierarchie zu erzeugen. Die internen Knoten werden anschließend mithilfe eines Konzept‑Banks benannt. Anschließend wird die Plausibilität der hierarchischen Struktur anhand effizienter Baum‑ und Kantenkonsistenzmaße mit etablierten menschlichen Ontologien verglichen. Die Nützlichkeit wird durch eine erklärbare, hierarchische Baum‑Traversal‑Inference mit Unsicherheits‑bewusstem Early‑Stopping (UAES) bewertet.

Schließlich wird ein ontologie‑geleitetes Post‑Hoc‑Ausrichtungsverfahren vorgeschlagen, das eine leichte Transformation des Embedding‑Raums lernt. Durch die Nutzung von UMAP werden Ziel‑Nachbarschaften aus einer gewünschten Hierarchie erzeugt, wodurch die semantische Ausrichtung verbessert wird. In Tests mit 13 vortrainierten VLMs und vier Bilddatensätzen zeigte sich ein konsistenter Unterschied zwischen Bild‑ und Text‑Encodern: Bild‑Encoder sind stärker diskriminativ, während Text‑Encoder Hierarchien erzeugen, die menschlichen Taxonomien besser entsprechen.

Die Ergebnisse verdeutlichen einen dauerhaften Kompromiss zwischen Zero‑Shot‑Genauigkeit und ontologischer Plausibilität und liefern praktische Ansätze zur Verbesserung der semantischen Ausrichtung in gemeinsamen Embedding‑Räumen. Diese Erkenntnisse eröffnen neue Möglichkeiten, VLMs noch besser an menschliche Wissensstrukturen anzupassen und damit ihre Anwendbarkeit in realen Szenarien zu erhöhen.