Paged Attention: GPU‑Speicheroptimierung für große Sprachmodelle

Bei der Ausführung von Large Language Models (LLMs) in großem Maßstab ist die eigentliche Engpassstelle nicht die Rechenleistung, sondern der GPU‑Speicher. Jeder Anfrage muss ein KV‑Cache zur Speicherung token‑basierter Daten zugewiesen werden.

Traditionell wird pro Anfrage ein großer, fester Speicherblock reserviert, der auf der maximalen Sequenzlänge basiert. Dadurch entsteht ein erheblicher Speicherplatz, der häufig ungenutzt bleibt, und die Parallelität wird stark eingeschränkt.

Paged Attention löst dieses Problem, indem es den Speicherbedarf dynamisch an die tatsächlich benötigte Menge anpasst. Durch die Aufteilung des KV‑Caches in Seiten wird Speicher effizienter genutzt, die Auslastung erhöht und die Anzahl gleichzeitiger Anfragen steigt.

Diese Technik ermöglicht es, LLM‑Anwendungen skalierbarer und kosteneffektiver zu betreiben, indem sie die Speicherbeschränkungen der GPUs besser ausnutzt.