Transformers nutzen unterschiedliche Mechanismen für kontextabhängiges Lernen

Eine neue Untersuchung hat die Mechanismen hinter dem sogenannten „in‑context learning“ in Transformer‑Modellen entschlüsselt. Die Autoren zeigen, wie diese Netzwerke ihre Berechnungen an die statistischen Eigenschaften der Eingaben anpassen und damit ein einzelnes Modell auf Daten aus einer Vielzahl von Systemen anwenden lassen.

Die Studie konzentriert sich auf Transformer, die auf einer endlichen Menge von diskreten Markov‑Ketten trainiert wurden. Dabei wurden vier algorithmische Phasen identifiziert, die sich danach unterscheiden, ob das Modell memoriert oder generalisiert und ob es 1‑Punkt‑ oder 2‑Punkt‑Statistiken nutzt.

Jede Phase wird durch mehrschichtige Subkreise umgesetzt, die zwei qualitativ unterschiedliche Mechanismen für kontextabhängige Berechnungen darstellen. Minimalmodelle isolieren die wesentlichen Merkmale beider Motive und verdeutlichen, wie die Netzwerke ihre internen Strukturen anpassen.

Die Übergänge zwischen Memorierungs- und Generalisierungsphasen werden durch zwei Grenzwerte bestimmt, die von der Vielfalt der Trainingsdaten abhängen. Der erste Grenzwert entsteht durch einen kinetischen Wettbewerb zwischen den Subkreisen, während der zweite durch einen repräsentativen Engpass festgelegt wird.

Ein symmetrie‑beschränktes Modell der Trainingsdynamik erklärt die scharfe Wechselwirkung von 1‑Punkt‑ zu 2‑Punkt‑Generalisation und identifiziert zentrale Eigenschaften des Verlustlandschapes, die die Generalisierung ermöglichen. Insgesamt zeigt die Arbeit, dass Transformer unterschiedliche Subkreise entwickeln, um kontextabhängiges Lernen zu realisieren, und legt Bedingungen fest, die bestimmte Mechanismen begünstigen.