Erklärbare Kompression von Gedankenketten steigert Effizienz multimodaler Modelle

In multimodalen Rechenmodellen werden lange Gedankenketten (Long CoTs) eingesetzt, um komplexe Aufgaben zu lösen und dabei detaillierte visuelle Informationen zu verarbeiten. Diese langen Ketten sind jedoch häufig übermäßig lang und enthalten viele redundante Schritte, was die Inferenzgeschwindigkeit erheblich verlangsamt.

Die Kompression solcher Long CoTs birgt zwei zentrale Herausforderungen: Erstens kann das Entfernen von Teilen der Kette die notwendige visuell-Textuelle Ausrichtung beeinträchtigen, die für korrekte Antworten entscheidend ist. Zweitens fehlt den bisherigen Verfahren eine nachvollziehbare Erklärung dafür, welche Informationen als wichtig erachtet wurden und welche weggelassen wurden.

Um diese Probleme zu lösen, wurde der eXplainable Multimodal CoT Compressor (XMCC) entwickelt. XMCC behandelt die Kompression als sequentielles Entscheidungsproblem, das mittels Reinforcement Learning optimiert wird. Dabei werden nur die wesentlichen Schritte beibehalten, die für die Richtigkeit der Antwort entscheidend sind, und gleichzeitig wird in natürlicher Sprache erklärt, warum bestimmte Teile der Kette entfernt wurden.

Umfangreiche Tests an führenden multimodalen Benchmark-Datensätzen zeigen, dass XMCC die Länge der Gedankenketten deutlich reduziert, ohne die Genauigkeit der Antworten zu beeinträchtigen. Gleichzeitig liefert das System verständliche Erklärungen, die die Transparenz des Kompressionsprozesses erhöhen und damit die Vertrauenswürdigkeit multimodaler Modelle stärken.