SkillRouter: Präzise Skill-Auswahl für LLM-Agenten in großem Maßstab

In der rasch wachsenden Landschaft von LLM-Agenten sind inzwischen Zehntausende von Skills – von Tools bis zu Plugins – verfügbar. Diese Menge macht es unmöglich, sämtliche Skills in den Kontext eines Agenten einzubetten, sodass ein intelligentes Routing erforderlich wird: die relevantesten Skills aus einem riesigen Pool für eine gegebene Aufgabe herauszufiltern.

Ein weiteres Problem ist die weit verbreitete funktionale Überschneidung in Community‑Skill‑Repos. Viele Skills tragen ähnliche Namen und erfüllen ähnliche Aufgaben, unterscheiden sich jedoch in den Details ihrer Implementierung. Trotz ihrer praktischen Bedeutung bleibt das Thema Skill‑Routing bislang wenig erforscht.

Aktuelle Agenten‑Architekturen setzen auf ein „progressives Disclosure“-Design, bei dem dem Agenten lediglich die Namen und Beschreibungen der Skills präsentiert werden, während der eigentliche Implementierungstext verborgen bleibt. Diese Annahme wird in einer systematischen Studie mit rund 80.000 Skills und 75 Experten‑Queries infrage gestellt.

Die Ergebnisse zeigen deutlich, dass der vollständige Implementierungstext – die Skill‑Body – das entscheidende Signal ist. Ohne diesen Text verschlechtert sich die Leistung aller Retrieval‑Methoden um 29 bis 44 Prozentpunkte. Eine Analyse der Cross‑Encoder‑Attention bestätigt, dass 91,7 % der Aufmerksamkeit auf den Body‑Feld gerichtet sind.

Auf Basis dieser Erkenntnisse wurde SkillRouter entwickelt: ein zweistufiges Retrieve‑and‑Rerank‑Pipeline mit insgesamt nur 1,2 Milliarden Parametern (0,6 Milliarden Encoder + 0,6 Milliarden Reranker). SkillRouter erzielt eine Top‑1‑Routing‑Genauigkeit von 74 % und übertrifft damit alle kompakten und Zero‑Shot‑Baselines, die wir evaluiert haben. Gleichzeitig bleibt das Modell kompakt genug, um auf handelsüblichen Hardware‑Plattformen betrieben zu werden.