Transformer lernen Analogien durch Kopieren – Fortschritt in KI

In einem neuen Beitrag auf arXiv wird gezeigt, wie Transformer‑Modelle mithilfe von Meta‑Learning für Kompositionalität (MLC) ein bislang schwieriges Problem der künstlichen Intelligenz – analogisches Denken – meistern können. Durch die gezielte Einbindung von Kopieraufgaben in das Trainingsmaterial lernen die Modelle, die wichtigsten Elemente einer Aufgabe zu erkennen und daraus neue Zusammenhänge abzuleiten.

Die Autoren trainierten einen dreischichtigen Encoder‑Decoder‑Transformer auf Buchstaben‑String‑Analogien. Dabei wurden die Modelle nicht nur mit den eigentlichen Analogien, sondern auch mit Kopieraufgaben konfrontiert. Diese zusätzlichen Aufgaben wirken als Zwischenschritt, der die Modelle dazu anregt, sich auf die informativsten Teile der Eingabe zu konzentrieren. Das Ergebnis: Die Transformer zeigen deutlich verbesserte Lernkurven und können die Analogien schneller und genauer erlernen.

Ein besonders bemerkenswerter Befund ist die verbesserte Generalisierung auf völlig neue Alphabete. Modelle, die mit heterogenen Datensätzen trainiert wurden, demonstrierten eine höhere Flexibilität bei unbekannten Zeichen. Der 3‑Layer‑Encoder‑Decoder übertraf dabei die meisten aktuellen Spitzenmodelle in dieser Aufgabenstellung.

Die MLC‑Strategie ermöglicht zudem eine gewisse Generalisierung auf Kombinationen bereits gelerner Transformationen, jedoch nicht auf völlig neue Transformationen. Um die Funktionsweise des Modells zu verstehen, identifizierten die Forscher einen Algorithmus, der die Berechnungen des Transformers approximiert. Interpretationsanalysen bestätigten, dass das Modell präzise nach den Erwartungen des Algorithmus gesteuert werden kann.

Die Ergebnisse liefern wertvolle Einblicke für die Entwicklung größerer Modelle und zeigen Parallelen zum menschlichen analogischen Denken auf. Sie legen nahe, dass gezielte Zwischenschritte wie Kopieren ein effektiver Ansatz sein können, um KI-Systeme menschenähnlicher in ihrer Fähigkeit zu machen, Wissen von einer Situation auf eine andere zu übertragen.