RoPE und lange Eingaben: Geometrische Analyse enthüllt neue Lösung
Ein neues arXiv-Papier beleuchtet die Grenzen von Rotary Positional Embedding (RoPE), einer weit verbreiteten Technik zur Positionskodierung in Sprachmodellen. Obwohl RoPE bei normalen Eingabelängen sehr effektiv ist, f…