Stitching von Vision Foundation Models: Neue Wege zur Integration

Model Stitching, bei dem die frühen Schichten eines Modells mit den späteren Schichten eines anderen verbunden werden, hat sich als nützliches Werkzeug zur Untersuchung der Kompatibilität von Repräsentationen etabliert. In der aktuellen Studie wird diese Technik auf Vision Foundation Models (VFMs) angewendet, die sich in Zielsetzung, Datensatz und Modalität unterscheiden – von CLIP über DINOv2 bis hin zu SigLIP 2.

Die zentrale Frage lautet: Sind heterogene VFMs miteinander kombinierbar? Um dies zu beantworten, wurde ein umfassendes Protokoll entwickelt, das verschiedene Stichpunkte, Arten von Stitch-Layern, Trainingsverluste und nachgelagerte Aufgaben berücksichtigt. Dadurch konnte systematisch untersucht werden, wie sich die Verbindung von Modellen auf die Leistung auswirkt.

Die Analyse liefert drei wesentliche Erkenntnisse. Erstens spielt die Art des Stitch-Layers entscheidend: Traditionelle Ansätze, die die Zwischenfeatures anpassen oder den Task-Loss end-to-end optimieren, verlieren bei flachen Stichpunkten an Genauigkeit. Zweitens ermöglicht ein einfacher Feature‑Matching‑Loss am vorletzten Layer des Zielmodells eine zuverlässige Verbindung heterogener VFMs über verschiedene Vision‑Aufgaben hinweg. Drittens kann bei tiefen Stichpunkten das kombinierte Modell sogar die Leistung eines einzelnen Modells übertreffen, wobei die zusätzliche Rechenlast durch den Stitch-Layer minimal bleibt.

Auf Basis dieser Ergebnisse wird das Konzept des VFM Stitch Tree (VST) vorgestellt. VST teilt die frühen Schichten mehrerer VFMs, behält jedoch die jeweiligen späteren Schichten bei. Dieses Design schafft ein flexibles Accuracy‑Latency‑Trade‑off, das besonders für multimodale Large Language Models von Vorteil ist, die häufig mehrere VFMs nutzen. Die Studie hebt somit das Stitching von einem rein diagnostischen Werkzeug zu einer praktischen Methode zur Integration ergänzender Vision‑Modelle hervor.