Spurensuche: Wie Sprachmodelle Aufgaben in Echtzeit verarbeiten

In der neuesten Studie von ArXiv (2509.04466v1) wird untersucht, wann und wie Sprachmodelle neue Aufgaben repräsentieren. Der Fokus liegt auf „transferfähigen“ Aufgabenrepräsentationen – Vektoren, die den Aufgabeninhalt in einem anderen Modellinstanz wiederherstellen können, selbst ohne den kompletten Prompt.

Die Ergebnisse zeigen, dass diese Repräsentationen nicht linear, sondern in sprunghaften, nicht-monotonen Mustern wachsen. Sie unterscheiden sich deutlich von einer stabilen, hochrangigen Aufgabenkategorie, die im gesamten Kontext erhalten bleibt. Oft fassen die Modelle mehrere Beweise zu einer kompakten, transferfähigen Darstellung zusammen, die sich gut mit der Leistungssteigerung bei mehr Beispielen im Prompt deckt.

Ein überraschendes Merkmal ist die starke Lokalität entlang der Sequenz: Die transferfähigen Repräsentationen tauchen erst bei bestimmten Tokens auf, obwohl die Aufgabenidentität bereits im gesamten Kontext zuverlässig dekodiert werden kann. Diese lokalen Repräsentationen erfassen meist minimale „Aufgabenbereiche“, wie semantisch unabhängige Teilaufgaben. Für längere oder zusammengesetzte Aufgaben greifen die Modelle hingegen auf zeitlich verteilte Repräsentationen zurück.

Die Studie unterstreicht damit einen zweifachen Lokalitätsmechanismus – sowohl zeitlich als auch semantisch – der die Fähigkeit von Sprachmodellen erklärt, sich in Echtzeit an neue Beweise anzupassen und neue Aufgaben zu erlernen.