LLMs komprimieren Prompts verlustfrei: Dictionary-Encoding spart Kosten

In der Welt der großen Sprachmodelle (LLMs) hat sich das In‑Context‑Learning als zentrales Lernparadigma etabliert. In einer neuen Studie zeigen die Autoren, dass LLMs in der Lage sind, Encoding‑Keys direkt im Kontext zu erlernen und anschließend auf die komprimierten Repräsentationen zu analysieren. Dadurch wird eine verlustfreie Prompt‑Kompression ohne Feinabstimmung des Modells möglich: Häufig auftretende Teilsequenzen werden durch kompakte Meta‑Tokens ersetzt, die das Modell dank einer im System‑Prompt bereitgestellten Kompressions‑Dictionary korrekt interpretiert.

Der vorgestellte Algorithmus erkennt wiederkehrende Muster auf mehreren Längenskalen und nutzt ein Token‑Spar‑Kriterium, das sicherstellt, dass die Kompression die Kosten senkt, ohne dass die Dictionary‑Überhead die Einsparungen übersteigt. In Tests erreicht die Methode je nach Datensatz bis zu 80 % Kompressionsrate. Um die Analysegenauigkeit unter Kompression zu prüfen, wird die De‑Kompression als Proxy‑Aufgabe mit eindeutiger Ground‑Truth verwendet.

Auf dem LogHub 2.0‑Benchmark mit Claude 3.7 Sonnet erzielte die Kompression exakt 99 % Übereinstimmung bei template‑basierten Ansätzen und über 91 % Levenshtein‑Ähnlichkeit bei algorithmischer Kompression, selbst bei 60 %–80 % Kompression. Die Analyse zeigt, dass die Kompressionsrate weniger als 2 % der Varianz in den Ähnlichkeitsmetriken erklärt, was darauf hinweist, dass die Qualität der De‑Kompression stärker von den Eigenschaften des Datensatzes abhängt als von der Kompressionsrate selbst.