Neue Sliding-Window-Recurrence-Methoden beschleunigen Sprachmodelle um bis zu 40 %

Ein neues arXiv‑Papier mit dem Titel „Sliding Window Recurrences for Sequence Models“ präsentiert einen vielversprechenden Ansatz, der die Leistungsfähigkeit von Sprachmodellen erheblich steigern soll.

Die Autoren stellen ein hierarchisches Zerlegungsframework für lineare Rekurrenzen vor, das es ermöglicht, Algorithmen zu entwickeln, die optimal auf die Speicherhierarchien von GPUs abgestimmt sind. Durch das Trunkieren der Rekurrenzen auf hardware‑angereicherte Fenster, die von Natur aus unregelmäßig sind, wird die teure Inter‑Warp-Kommunikation drastisch reduziert.

Auf Basis dieser Sliding‑Window‑Recurrences (SWR) wurden Phalanx‑Schichten entwickelt, die als nahtlose Ersatzmodule für windowed attention oder klassische lineare Rekurrenzen fungieren können. Diese Schichten lassen sich problemlos in bestehende Multi‑Hybrid‑Architekturen integrieren.

In Experimenten mit 1 Milliarden‑Parameter‑Modellen zeigte Phalanx einen Geschwindigkeitszuwachs von über 10 % bis zu 40 % bei Kontextlängen zwischen 4 K und 32 K Token, während die Perplexität unverändert blieb. Damit demonstriert die Methode, dass höhere Effizienz ohne Qualitätsverlust erreichbar ist.