Orla: Bibliothek für effiziente LLM-basierte Multi-Agenten-Systeme

Mit der neuen Bibliothek Orla können Entwickler komplexe, mehrstufige Arbeitsabläufe aus großen Sprachmodellen (LLMs) und externen Tools ohne manuelle Orchestrierung aufbauen und betreiben. Orla fungiert als Abstraktionsschicht über bestehenden LLM-Serving-Engines und ermöglicht die Definition von Workflows, die aus einzelnen Stufen bestehen.

Traditionell mussten Entwickler die Logik zur Steuerung von Modellen, Toolaufrufen und Infrastruktur selbst schreiben. Orla trennt die Ausführung von Anfragen von den policy‑basierten Entscheidungen auf Workflow‑Ebene. Dadurch wird die Komplexität reduziert und die Wiederverwendbarkeit von Komponenten erhöht.

Die Bibliothek bietet drei zentrale Steuerungsmechanismen: einen Stage‑Mapper, der jede Stufe einem passenden Modell und Backend zuordnet; einen Workflow‑Orchestrator, der die Ausführung plant und Ressourcen sowie Kontext verwaltet; sowie einen Memory‑Manager, der Zustände wie KV‑Caches über Workflow‑Grenzen hinweg speichert.

In einer Demonstration wurde Orla in einem Kunden‑Support‑Workflow eingesetzt. Die Evaluation auf zwei Datensätzen zeigte, dass die automatische Stufen‑Zuordnung die Latenz und Kosten im Vergleich zu einem ein‑Modell‑vLLM‑Baseline senkt, während das Caching auf Workflow‑Ebene die Zeit bis zum ersten Token deutlich reduziert.