ConsRoute: Konsistenzbewusstes adaptive Routing für Cloud‑Edge‑LLMs

Large Language Models (LLMs) bieten beeindruckende Fähigkeiten, bringen jedoch erhebliche Latenzzeiten und Kosten mit sich, was ihre Nutzung in zeitkritischen und ressourcenbeschränkten Szenarien erschwert. Durch die Kombination von Cloud-, Edge- und Gerätelösungen kann die Last dynamisch verteilt werden, um die Effizienz zu steigern.

ConsRoute ist ein leichtgewichtiges, semantisch bewusstes und adaptives Routing‑Framework, das die Inferenzleistung deutlich verbessert, ohne die Antwortqualität zu beeinträchtigen. Im Gegensatz zu bisherigen Ansätzen, die auf grobkörnigen Qualitätsvorhersagen basieren, nutzt ConsRoute einen Reranker, um die semantische Konsistenz zwischen den Antworten verschiedener Modelle direkt zu bewerten. Diese Bewertung liefert fein abgestufte Soft‑Supervision‑Signale für das Routing.

Um die Rechenlast auf dem Gerät zu minimieren, verwendet ConsRoute die bereits während der Vorverarbeitung erzeugten Hidden States als kompakte Repräsentationen der Anfrage. Dadurch entfällt ein separater Encoder oder zusätzliche Inferenzschritte.

Die Repräsentationen werden anschließend in Cluster gruppiert, und mittels Bayesscher Optimierung werden klusterspezifische Routing‑Schwellenwerte erlernt. Diese Schwellen balancieren dynamisch Qualität, Latenz und Kosten, selbst bei heterogenen Anfragen.

Umfangreiche Experimente zeigen, dass ConsRoute nahezu cloud‑ähnliche Leistungen (≥ 95 %) erzielt und gleichzeitig die End‑zu‑End‑Latenz sowie die Inferenzkosten um fast 40 % senkt. Im Vergleich zu bestehenden Routing‑Baselines übertrifft ConsRoute sowohl die Antwortqualität als auch die Systemeffizienz konsequent.