Neue Theorie: Tabellenrepräsentationen sollten permutationsinvariant sein

In einem bahnbrechenden Beitrag zur Tabellenverarbeitung stellt die neue Studie die Platonic Representation Hypothesis (PRH) vor, die besagt, dass robuste Tabellenrepräsentationen intrinsisch permutationsinvariant sein müssen. Historische Ansätze, die Tabellen wie Text linearisieren, verlieren dabei die geometrische und relationale Struktur und führen zu fehleranfälligen Modellen.

Die Autoren führen eine retrospektive Analyse von Tabellen‑Reasoning‑Aufgaben durch und zeigen, dass die weit verbreitete Serialisierung die strukturelle Integrität unterminiert. Zur Messung dieses Bias werden zwei neue Metriken auf Basis von Centered Kernel Alignment (CKA) eingeführt: PI, das die Verschiebung der Einbettungen bei vollständiger Umstrukturierung quantifiziert, und rho, ein Spearman‑basiertes Maß, das die Konvergenz zu einer kanonischen Form verfolgt, wenn strukturelle Informationen schrittweise wiederhergestellt werden.

Die experimentellen Ergebnisse offenbaren einen gravierenden Mangel moderner Large Language Models (LLMs): schon geringfügige Layout‑Permutation führen zu erheblichen semantischen Verschiebungen in den Tabellen‑Embeddings. Diese Schwäche macht Retrieval‑Augmented‑Generation (RAG)-Systeme anfällig für layoutabhängiges Rauschen, statt für semantische Inhalte.

Als Antwort präsentiert die Studie einen neuartigen, struktur‑sensitiven TRL‑Encoder, der die kognitive Prinzipien der PRH explizit durchsetzt und damit die Permutationsinvarianz gewährleistet. Dieser Ansatz verspricht, die Zuverlässigkeit von Tabellen‑Retrieval und -Reasoning in realen Anwendungen nachhaltig zu verbessern.