RoPE und lange Eingaben: Geometrische Analyse enthüllt neue Lösung

Ein neues arXiv-Papier beleuchtet die Grenzen von Rotary Positional Embedding (RoPE), einer weit verbreiteten Technik zur Positionskodierung in Sprachmodellen. Obwohl RoPE bei normalen Eingabelängen sehr effektiv ist, führt es bei längeren Sequenzen zu Leistungseinbrüchen, weil die Positionsembeddings die Modellarchitektur „außerhalb der Trainingsverteilung“ drehen.

Die Autoren kombinieren empirische Beobachtungen mit einer theoretischen Analyse und liefern ein einheitliches geometrisches Verständnis des Attention‑Verhaltens unter Einsatz von RoPE. Sie zeigen, dass die Attention‑Schichten die latenten Punkte von Schlüssel‑ und Anfrage‑Tokens eng zusammenklumpen, wodurch sogenannte Sink‑Tokens entstehen. Diese Platzhalter ermöglichen es den Attention‑Köpfen, Token‑Mischungen zu vermeiden, wenn sie nicht erforderlich sind.

Bei längeren Eingaben zerstört RoPE die Trennung der Schlüssel‑ und Anfrage‑Cluster, wodurch die Sink‑Token-Funktionalität gehemmt wird. Das führt zu pathologischen Effekten, die die Modellleistung stark beeinträchtigen.

Um dieses Problem zu lösen, schlagen die Forscher RoPE‑ID (In Distribution) vor: RoPE wird mit hoher Frequenz nur auf einen Teil der Kanäle angewendet. Diese einfache Modifikation erlaubt es den Attention‑Schichten, ohne zusätzliche Anpassungen auf längere Eingaben zu generalisieren.

Die Wirksamkeit von RoPE‑ID wird an 1‑Billionen- und 3‑Billionen-Parameter‑Transformern auf den LongBench‑ und RULER‑Benchmarks demonstriert. Die Ergebnisse zeigen, dass RoPE‑ID die Leistung bei langen Sequenzen deutlich verbessert und die Modellarchitektur robuster macht.