ParetoBandit: Kostenkontrolliertes Routing für dynamische LLM-Server

In der Produktion von Large‑Language‑Modelle (LLM) wird häufig ein Portfolio aus mehreren Modellen genutzt, die sich in Kosten um mehr als ein halbes Jahrhundert unterscheiden. Die Entscheidung, welches Modell für einen bestimmten Aufruf verwendet wird, muss dabei Qualität und Preis abwägen – ein Problem, das sich ständig ändert, wenn Anbieter ihre Preise anpassen, Modelle an Qualität verlieren oder neue Modelle eingeführt werden.

Hier kommt ParetoBandit ins Spiel: ein Open‑Source‑Router, der auf kostenbewussten Kontextbanditen basiert und gleichzeitig ein dollarbasiertes Budget einhält, sich online an Preis‑ und Qualitätsänderungen anpasst und neue Modelle ohne Ausfallzeiten integriert. Das System nutzt drei Kernmechanismen: einen Online‑Primal‑Dual‑Budget‑Pacer, der für jeden Aufruf eine Kostenobergrenze festlegt, geometrisches Vergessen zur schnellen Anpassung an Marktveränderungen und ein Hot‑Swap‑Register, das es Betreibern erlaubt, Modelle zur Laufzeit hinzuzufügen oder zu entfernen.

Durch den Budget‑Pacer wird die Kostenkontrolle in Echtzeit gewährleistet, ohne dass manuelle Penalty‑Tuning‑Sitzungen nötig sind. Das geometrische Vergessen sorgt dafür, dass das System schnell auf Preisänderungen reagiert, während es gleichzeitig von vorab trainierten Prioritäten profitiert. Der Hot‑Swap‑Mechanismus führt neue Modelle zunächst in einer kurzen explorativen Phase ein, danach wählt ein Upper‑Confidence‑Bound‑Algorithmus die optimale Qualitäts‑Kosten‑Position aus dem Live‑Traffic heraus.

In einer Evaluation mit 1.824 Aufrufen über ein dreimodelliges Portfolio und sieben unterschiedlichen Budgetobergrenzen blieb der durchschnittliche Aufrufpreis stets unter 0,4 % über dem Zielwert. Wenn ein Modell plötzlich um ein Vielfaches günstiger wurde, stieg die Qualität um bis zu 7,1 % an. Gleichzeitig konnte das System eine stille Qualitätsregression erkennen und innerhalb des Budgets neu routen. Ein komplett neues Modell wurde innerhalb kurzer Zeit von den Nutzern angenommen, ohne dass zusätzliche Konfigurationen nötig waren.

ParetoBandit demonstriert, dass ein dynamisches, budgetorientiertes Routing für LLM-Server möglich ist, das sowohl Kostenkontrolle als auch kontinuierliche Anpassung an Marktveränderungen gewährleistet. Durch die Kombination aus Online‑Budget‑Pacing, geometrischem Vergessen und Hot‑Swap‑Registrierung bietet es eine robuste Lösung für die Herausforderungen moderner LLM‑Bereitstellungen.