Neuroinspirierte VLMs widerstehen Membership‑Inference‑Angriffen
In der Ära agentischer KI gewinnen multimodale Modelle (MMs) immer mehr an Bedeutung. Gleichzeitig eröffnen sie neue Angriffsvektoren, die sensible Trainingsdaten preisgeben können. Ein besonders besorgniserregender Angriff ist die Membership‑Inference‑Attack (MIA), bei der ein Angreifer versucht zu bestimmen, ob ein bestimmtes Beispiel im Trainingsdatensatz enthalten war.
Die vorliegende Studie untersucht genau diese Art von Angriff auf multimodale Vision‑Language‑Modelle (VLMs). Während bisherige Forschung vor allem unimodale Systeme analysiert hat, zeigen neuere Arbeiten, dass auch MMs anfällig für Datenschutzverletzungen sein können.
Um die Widerstandsfähigkeit von VLMs zu erhöhen, wird ein neurowissenschaftlich inspiriertes topologisches Regularisierungsframework namens tau vorgestellt. Dieses Verfahren fügt den Modellen eine zusätzliche Regularisierung hinzu, die auf topologischen Eigenschaften neuronaler Netzwerke basiert.
Die Experimente wurden an drei führenden VLMs – BLIP, PaliGemma 2 und ViT‑GPT2 – durchgeführt und auf drei Benchmark‑Datensätzen getestet: COCO, CC3M und NoCaps. Dabei wurden die Baseline‑Modelle mit den neuro‑inspirierten Varianten verglichen, die durch die tau‑Regularisierung definiert sind.
Ein besonders auffälliges Ergebnis zeigt sich bei BLIP auf dem COCO‑Datensatz: Die Erfolgsrate der MIA sinkt um 24 % im Mittel (ROC‑AUC), während die Modellleistung in Bezug auf Bild‑Text‑Übereinstimmung (MPNet) und Text‑Genauigkeit (ROUGE‑2) nahezu unverändert bleibt. Das bedeutet, dass neuro‑inspirierte VLMs gleichzeitig sicherer und leistungsfähig bleiben.
Die Ergebnisse deuten darauf hin, dass neuro‑inspirierte VLMs eine vielversprechende Richtung für den sicheren Einsatz multimodaler KI darstellen. Durch die Kombination von biologisch inspirierten Regularisierungen und robusten Modellen können Entwickler die Gefahr von Datenschutzverletzungen deutlich reduzieren, ohne die Nützlichkeit der Modelle zu beeinträchtigen.