PROTEUS: SLA‑orientiertes Routing mit Lagrange‑RL für Multi‑LLM‑Systeme

In modernen LLM‑Deployments variieren Kosten und Qualitätsanforderungen stark je nach Kundensegment, Tageszeit und Anfragekritikalität. Während die Systeme selbst Latenz‑SLOs direkt akzeptieren, fehlt es den LLM‑Routern bislang an einer Möglichkeit, Genauigkeitsziele in Echtzeit zu steuern. PROTEUS (Polymorphic Router for Operational Target Enforcement with Unified SLA) löst dieses Problem, indem es Genauigkeitsziele (tau) als Laufzeitparameter akzeptiert und sie in konkrete Routing‑Entscheidungen übersetzt.

Der Schlüssel liegt in der Lagrange‑Dual‑Kontrolle: Ein lernbarer Dual‑Parameter lambda verfolgt während des Trainings die Verstöße gegen die Vorgaben und konditioniert damit das Policy‑Netzwerk. Dadurch kann PROTEUS tau‑Werte in Routing‑Entscheidungen umsetzen, die die Vorgaben erfüllen, ohne dass separate Modelle für unterschiedliche Genauigkeitsstufen nötig sind.

In umfangreichen Tests auf RouterBench (11 Modelle, 405 000 Anfragen) und SPROUT (14 Modelle, 45 000 Anfragen) zeigte PROTEUS eine konsequente Einhaltung der Genauigkeitsuntergrenzen. Die Korrelation zwischen Ziel und Ergebnis erreichte 0,97 bis 0,98, während der nächstliegende Baseline OmniRouter die Untergrenzen nur 22 % der Zeit erfüllte. PROTEUS arbeitet mit einem einzigen Modell über tau‑Bereiche von 0,85 bis 0,95 und erzielt auf RouterBench 90,1 % Genauigkeit – nur 1,3 % vom optimalen Wert entfernt. Auf SPROUT erreicht es 94,0 % Genauigkeit, 4,6 % vom Oracle. Gleichzeitig spart es bis zu 89,8 % an Kosten im Vergleich zum besten festen Modell.

PROTEUS demonstriert, dass ein einziges, lernfähiges Routing‑System die gesamte Bandbreite an Genauigkeitsanforderungen abdecken kann, dabei Kosten drastisch reduziert und die Zuverlässigkeit gegenüber herkömmlichen Ansätzen deutlich erhöht.