AgentGate: Leichtgewichtiger Routing-Engine für das Internet der Agenten

Die rasante Entwicklung von KI-Agentensystemen ebnet den Weg für ein neues „Internet der Agenten“, in dem spezialisierte Agenten auf lokalen Geräten, Edge-Knoten, privaten Diensten und Cloud-Plattformen zusammenarbeiten. Trotz Fortschritten bei Namensgebung, Entdeckung und Interaktion bleibt die effiziente Weiterleitung von Anfragen unter Berücksichtigung von Latenz, Datenschutz und Kosten ein offenes Problem.

In diesem Zusammenhang stellt AgentGate einen leichtgewichtigen, strukturierten Routing-Engine vor, der die Weiterleitung von Anfragen als stark eingeschränktes Entscheidungsproblem behandelt. Der Ansatz gliedert sich in zwei Phasen: erst wird entschieden, ob eine Anfrage einen einzelnen Agenten, eine Multi-Agenten-Planung, eine direkte Antwort oder eine sichere Eskalation auslösen soll; anschließend wird die gewählte Aktion in ausführbare Ausgaben wie Zielagenten, strukturierte Argumente oder mehrstufige Pläne umgesetzt.

Um kompakte Modelle für diese Aufgabe zu optimieren, wurde ein routing-orientiertes Feintuning entwickelt, das kandidatenorientierte Überwachung und harte Negative-Beispiele nutzt. Auf einem speziell kuratierten Routing-Benchmark wurden mehrere Open-Weight-Modelle mit 3 B bis 7 B Parametern getestet. Die Ergebnisse zeigen, dass kompakte Modelle in eingeschränkten Umgebungen konkurrenzfähige Routing-Leistungen erzielen können. Die Unterschiede zwischen den Modellen lassen sich hauptsächlich auf die Vorhersage von Aktionen, die Auswahl von Kandidaten und die Qualität der strukturierten Grounding zurückführen.

Diese Erkenntnisse deuten darauf hin, dass strukturierte Routing-Strategien ein praktikabler Ansatz für effiziente und datenschutzbewusste Agentensysteme sind, die sowohl in lokalen als auch in verteilten Infrastrukturen eingesetzt werden können.