Semantische Interaktionsinformation verbessert Zusammensetzungsgeneralisation

Wissenschaftler haben eine neue Methode entwickelt, um die Grenzen der Generalisierung in komplexen Lernsystemen zu überwinden. Dabei wird die Zusammensetzungsgeneralisation – die Fähigkeit, aus bekannten Bausteinen neue Aufgaben zu lösen – als ein Problem der variationalen Inferenz über latente Variablen mit parametrischen Interaktionen formuliert.

Zur Untersuchung dieser Idee entstand das Cognitive Gridworld, ein stationäres Partially Observable Markov Decision Process (POMDP). In diesem Szenario werden Beobachtungen von mehreren latenten Variablen erzeugt, während das Feedback nur für eine einzelne Zielvariable bereitgestellt wird. Diese Struktur ermöglicht die Definition der Semantic Interaction Information (SII), einer Kennzahl, die misst, wie stark die Interaktion zwischen latenten Variablen die Leistung einer Aufgabe beeinflusst.

Mit Hilfe von SII wurden Recurrent Neural Networks (RNNs) analysiert, die diese Interaktionen nutzen. Die Ergebnisse zeigen, dass SII die Genauigkeitslücke zwischen Echo State Networks und vollständig trainierten Netzwerken erklärt. Gleichzeitig wurde ein theoretisch vorhergesagter Fehlerzustand entdeckt, bei dem das Vertrauen der Modelle von ihrer tatsächlichen Genauigkeit abweicht – ein Hinweis darauf, dass die Nutzung von Interaktionen zwischen relevanten Variablen keine triviale Aufgabe ist.

In einem noch schwierigeren Szenario müssen die Interaktionen selbst durch ein Einbettungsmodell gelernt werden. Das Lernen erfordert präzise Inferenz, während die Inferenz wiederum die Kenntnis der Interaktionen voraussetzt – ein zirkuläres Problem, das im Cognitive Gridworld als zentrales Hindernis für kontinuierliches Meta‑Learning identifiziert wurde.

Um dieses Dilemma zu lösen, stellen die Autoren Representation Classification Chains (RCCs) vor, eine JEPA‑ähnliche Architektur, die die Prozesse der Variableninferenz und der Variablen‑Einbettung trennt. Diese Architektur bietet einen vielversprechenden Ansatz, um die Interdependenzen zwischen Inferenz und Interaktion zu überwinden und die Generalisierungsfähigkeit von Lernsystemen nachhaltig zu verbessern.