TableVision: Benchmark für räumlich fundiertes Tabellenverständnis

In der Welt der großen multimodalen Sprachmodelle (MLLMs) bleibt die Fähigkeit, komplexe hierarchische Tabellen zu verstehen, ein großes Problem. Forscher haben einen entscheidenden Wahrnehmungshindernis identifiziert: Je komplexer die Aufgabe, desto mehr diskrete visuelle Regionen müssen verarbeitet werden, was zu einer „perzeptuellen Überlastung“ führt. MLLMs verlieren dabei die präzise räumliche Aufmerksamkeit, die für die korrekte Interpretation von Tabellen unerlässlich ist.

Um dieses Problem zu lösen, präsentiert das neue Benchmark „TableVision“. Es ist ein groß angelegtes, trajektorienorientiertes Testfeld, das 6 799 hochpräzise Reasoning‑Trajektorien enthält. TableVision unterteilt tabellarische Aufgaben in drei kognitive Ebenen – Wahrnehmung, Logik und Analyse – und gliedert sie in 13 Unterkategorien. Durch einen renditionsbasierten, deterministischen Grounding‑Pipeline wird jede mehrstufige logische Deduktion mit pixelgenauen räumlichen Referenzen verknüpft, sodass die Modelle exakt nachvollziehen können, wo sich welche Informationen befinden.

Die Ergebnisse sind beeindruckend: Durch die explizite Einbindung räumlicher Beschränkungen kann das reasoning‑Potenzial der MLLMs deutlich zurückgewonnen werden. Ein zweistufiges, decoupliertes Framework steigert die Gesamtgenauigkeit auf dem Testset um 12,3 %. TableVision bietet damit nicht nur ein rigoroses Testumfeld, sondern eröffnet auch neue Perspektiven auf die Wechselwirkung zwischen Wahrnehmung und Logik in der Dokumentenverarbeitung.