Neues DSL für LLM-Routing: Von Inference zu Agenten-Workflow mit geprüfter Policy

Ein neues, nicht Turing-vollständiges Policy‑Language‑DSL namens Semantic Router wird bereits in der Produktion eingesetzt, um Anfragen an große Sprachmodelle (LLM) intelligent zu routen. Durch die Analyse von Inhaltssignalen wie Einbettungs‑Ähnlichkeit, PII‑Erkennung und Jailbreak‑Scoring werden gewichtete Projektionen und prioritätsbasierte Entscheidungsbäume gebildet, die das passende Modell auswählen, Datenschutzrichtlinien durchsetzen und strukturierte Audit‑Spuren erzeugen.

Die Arbeit baut auf früheren Erkenntnissen zu konfliktfreien Kompilierungen für probabilistische Prädikate auf und positioniert das DSL im Workload‑Router‑Pool‑Architektur‑Stack. In der aktuellen Veröffentlichung wird das DSL von statischem, pro‑Anfrage‑Routing auf komplexe, mehrstufige Agenten‑Workflows ausgeweitet – vom Inference‑Gateway über die Agenten‑Orchestrierung bis hin zur Infrastruktur‑Bereitstellung.

Der Compiler erzeugt verifizierte Entscheidungs­knoten für moderne Orchestrierungs‑Frameworks wie LangGraph und OpenClaw, Kubernetes‑Artefakte (NetworkPolicy, Sandbox‑CRD, ConfigMap), YANG/NETCONF‑Payloads sowie protokollspezifische Grenzschichten (MCP, A2A). Alle diese Artefakte stammen aus demselben deklarativen Quellcode, wodurch Änderungen an Signalen sofort von der Inference‑Ebene bis zur Infrastruktur propagiert werden.

Dank der Nicht‑Turing‑Vollständigkeit garantiert der Compiler vollständige Routenabdeckung, konfliktfreie Verzweigungen, referenzielle Integrität und auditierbare Logik. Diese Eigenschaften ermöglichen eine strukturierte Verknüpfung von Audit‑Spuren mit der Entscheidungslogik und verhindern unerwartete Seiteneffekte.

Die vorgestellte Lösung stützt sich auf vier Säulen: Auditierbarkeit, Kosten­effizienz, Verifizierbarkeit und Anpassungsfähigkeit. Durch die zentrale Definition von Signalen und die einheitliche Kompilierung wird die Koordination zwischen Teams reduziert und das Risiko von Policy‑Abweichungen minimiert.