RACER: Risikobewusste, kalibrierte Routenwahl für große Sprachmodelle

Die effiziente Weiterleitung von Anfragen an das optimale große Sprachmodell (LLM) ist entscheidend, um das Kosten‑Leistungsverhältnis in Multi‑Model‑Systemen zu optimieren. Traditionelle Router wählen jedoch meist ein einzelnes Modell aus, was sie anfällig für Fehlentscheidungen macht.

In der neuen Arbeit wird das Routing von LLMs als α‑VOR‑Problem formuliert, das die erwartete Setgröße minimiert und gleichzeitig das Risiko eines Fehlrouteings steuert. Der vorgeschlagene Ansatz, RACER, erweitert bestehende Router, indem er statt eines einzelnen Modells ein Modellset erzeugt, das anschließend aggregiert werden kann, um die Ausgabequalität zu verbessern.

RACER baut verschachtelte Modellsets durch augmentierte Scoring‑Methoden auf und nutzt Konzentrationsschwellen aus endlichen Stichproben, um einen Schwellenwert zu kalibrieren, der variable Setgrößen und die Möglichkeit zur Ablehnung (Abstention) erlaubt. Theoretisch wird gezeigt, dass RACER eine rigorose, distributionsfreie Risikokontrolle auf unbekannten Testdaten in einer nachträglichen und modellagnostischen Weise gewährleistet.

Umfangreiche Experimente bestätigen die theoretischen Versprechen und demonstrieren, dass RACER die downstream‑Genauigkeit über eine breite Palette von Benchmarks hinweg konsequent steigert. Diese Entwicklung markiert einen wichtigen Schritt hin zu robusteren und kosteneffizienteren LLM‑Routing‑Systemen.