Transformers beweisen: Regeln lernen, die sie nie gesehen haben

Eine neue Studie aus dem arXiv-Repository zeigt, dass Transformer‑Modelle in der Lage sind, Regeln zu erlernen, die sie während des Trainings nie explizit gesehen haben. Das Ergebnis löst die langjährige Debatte darüber, ob die scheinbare Generalisierung von Sprachmodellen lediglich auf Interpolation von bekannten Beispielen beruht.

Die Forscher führten zwei kontrollierte Experimente durch. Im ersten Fall nutzte ein zweischichtiges Transformer‑Modell einen Zellautomaten mit einer XOR‑Übergangsregel. Durch gezieltes Entfernen bestimmter lokaler Eingabemuster aus dem Trainingsdatensatz wurde die Interpolation ausgeschlossen – die nächsten Nachbarn der ausgeblendeten Muster trugen das entgegengesetzte Label. Trotz dieser Herausforderung erreichte das Modell eine 100 %ige Genauigkeit bei 47 von 60 Durchläufen, und eine anschließende Circuit‑Extraction bestätigte, dass der Transformer die XOR‑Logik exakt berechnet hat.

Im zweiten Experiment wurden symbolische Operatorketten über Ganzzahlen untersucht, wobei ein Operator‑Paar aus dem Trainingssatz entfernt wurde. Das Modell musste nicht nur das Endergebnis, sondern auch die Zwischenschritte in einem Beweis‑ähnlichen Format ausgeben. Hier übertraf der Transformer sämtliche Interpolations‑Baseline‑Modelle – durchschnittlich 41,8 % (maximal 78,6 %) – während klassische Methoden wie KNN, MLP und KRR bei 0 % lagen. Das Wegfallen der Zwischenschritt‑Supervision führte zu einem deutlichen Leistungsabfall.

Zusammen mit einer theoretischen Konstruktion, die zeigt, wie ein Standard‑Transformer‑Block exakte lokale Boolesche Regeln implementieren kann, liefert die Arbeit überzeugende Beweise dafür, dass Transformer über reine Interpolation hinaus in der Lage sind, komplexe Rechenregeln zu erlernen und anzuwenden.