TRACER: Kostenoptimiertes Routing für LLM‑Klassifikation mit selbstlernenden Surrogates

Jede Anfrage an einen LLM‑Klassifikations‑Endpoint erzeugt ein gelabeltes Input‑Output‑Paar, das sofort in den Produktionslogs gespeichert wird. Diese Daten bilden ein kostenloses, stetig wachsendes Trainingsset, das ein leichtgewichtiges Surrogatmodell mit nahezu null Grenzkosten für zukünftige Anfragen füttern kann.

Die zentrale Herausforderung besteht darin, genau zu bestimmen, wann das Surrogat zuverlässig genug ist, welche Anfragen es übernehmen darf und wann es an den Original‑LLM zurückverweisen muss. TRACER – ein Open‑Source‑System – löst dieses Problem, indem es ML‑Surrogates direkt aus den eigenen Produktions‑Spuren des LLM trainiert und deren Einsatz über einen „Parity‑Gate“ steuert. Das Surrogat wird nur aktiviert, wenn seine Übereinstimmung mit dem LLM einen benutzerdefinierten Schwellenwert α überschreitet.

TRACER macht die Routing‑Grenze transparent: Es erzeugt Interpretations‑Artefakte, die zeigen, welche Eingabebereiche vom Surrogat abgedeckt werden, wo es an Leistung verliert und warum es bestimmte Anfragen zurückweist. Auf einem 77‑Klassen‑Intent‑Benchmark mit dem Sonnet 4.6‑Lehrer erreichte TRACER je nach α zwischen 83 % und 100 % Abdeckung des Surrogats; bei einem 150‑Klassen‑Benchmark ersetzte das Surrogat den Lehrer vollständig. Bei einer Natural‑Language‑Inference‑Aufgabe verweigerte das Parity‑Gate korrekt die Bereitstellung, weil die Einbettungsrepräsentation keine zuverlässige Trennung zuließ.

TRACER steht als Open‑Source‑Software zur Verfügung und bietet damit Unternehmen eine robuste, kosteneffiziente Lösung, um LLM‑Klassifikationsdienste zu skalieren, ohne dabei die Qualität zu gefährden.