ReflectCAP: Bildbeschriftungen neu definiert durch reflektierende Erinnerung

Die präzise Beschriftung von Bildern erfordert gleichzeitig eine hohe Faktengenauigkeit und eine umfassende Abdeckung aller Bildinhalte – ein Ziel, das bisherige Verfahren nur schwer erreichen konnten. Mit dem neuen Ansatz ReflectCAP wird dieses Spannungsfeld endlich in Einklang gebracht.

ReflectCAP nutzt ein mehrstufiges, multi‑Agenten‑System, das die typischen Halluzinationen und systematischen Auslassungen eines großen Vision‑Language‑Modells (LVLM) analysiert. Aus diesen Beobachtungen entstehen sogenannte Structured Reflection Notes, die als wiederverwendbare Richtlinien dienen. Während der Inferenz steuern diese Notizen das Beschriftungsmodell gezielt: Sie zeigen, welche Informationen vermieden werden sollten und welche besonders beachtet werden müssen. Das Ergebnis sind detaillierte Bildbeschriftungen, die sowohl faktisch korrekt als auch inhaltlich vollständig sind.

In umfangreichen Tests wurden acht verschiedene LVLMs – darunter Varianten der GPT‑4.1‑Familie, Qwen‑Serien und InternVL – mit ReflectCAP ausgestattet. Die Methode erreicht die Pareto‑Grenze zwischen Faktengenauigkeit und Abdeckung und erzielt signifikante Verbesserungen auf der Benchmark‑Plattform CapArena‑Auto, wo die generierten Beschriftungen direkt gegen starke Referenzmodelle bewertet werden. Darüber hinaus bietet ReflectCAP ein deutlich günstigeres Verhältnis von Beschriftungsqualität zu Rechenaufwand als reine Modellskalierung oder andere Multi‑Agenten‑Pipelines, die 21 – 36 % mehr Ressourcen benötigen.

Durch diese Effizienzsteigerung wird hochqualitative, detaillierte Bildbeschriftung unter realen Kosten- und Latenzbedingungen praktikabel. ReflectCAP setzt damit neue Maßstäbe für die praktische Anwendung von Vision‑Language‑Modellen in der Bildverarbeitung.