OmniTrace: Einheitliches Framework zur Erklärbarkeit multimodaler LLMs

Moderne multimodale Large Language Models (MLLMs) können dank der Kombination von Text, Bild, Audio und Video fließende Antworten generieren. Doch wer weiß, welche Eingabekanäle tatsächlich die einzelnen generierten Aussagen unterstützen? Dieses Problem der Attribution bleibt bislang ungelöst, weil bestehende Methoden meist für Klassifikationsaufgaben, feste Zielvorhersagen oder einseitige Architekturen entwickelt wurden und sich nicht ohne Weiteres auf autoregressive, decoder‑only Modelle mit offenen multimodalen Generationen übertragen lassen.

Mit OmniTrace wird Attribution zu einem leichtgewichtigen, modellunabhängigen Verfahren, das die Nachverfolgung von Tokens während des kausalen Decodierprozesses formalisiert. Das System wandelt beliebige token‑level Signale – etwa Aufmerksamkeitsgewichte oder gradientspezifische Scores – in konsistente span‑level, cross‑modal Erklärungen um. Dabei wird jeder generierte Token auf die zugrunde liegenden multimodalen Eingaben zurückgeführt, die Signale werden zu semantisch sinnvollen Spannen zusammengefasst und anschließend durch eine confidence‑gewichtete, zeitlich kohärente Aggregation prägnante unterstützende Quellen ausgewählt – ohne dass ein Retraining oder zusätzliche Supervision nötig ist.

In umfangreichen Tests mit Qwen2.5‑Omni und MiniCPM‑o‑4.5 über visuelle, auditive und video‑basierte Aufgaben zeigte OmniTrace, dass generation‑aware span‑level Attribution stabilere und interpretierbarere Erklärungen liefert als naive Selbst‑Attribution oder embeddingsbasierte Baselines. Die Methode bleibt dabei robust gegenüber unterschiedlichen zugrunde liegenden Attribution‑Signalen.

Die Ergebnisse deuten darauf hin, dass die Behandlung von Attribution als strukturiertes, generation‑zeitliches Tracing ein skalierbares Fundament für die Erklärbarkeit multimodaler LLMs bietet und damit einen wichtigen Schritt in Richtung nachvollziehbarer KI‑Modelle darstellt.