AgentArk: Mehrere Agenten in einem LLM – effizienter und robuster

Ein neues Forschungsprojekt namens AgentArk zeigt, wie die Leistungsfähigkeit von Multi-Agenten-Systemen in ein einzelnes Sprachmodell integriert werden kann. Durch das sogenannte „Distilling“ werden die Interaktionen und das kollektive Wissen der Agenten in die Gewichte eines einzigen Modells überführt, sodass die Vorteile von Debatten und Selbstkorrektur erhalten bleiben, ohne die hohen Rechenkosten eines Multi-Agenten-Setups.

Die Autoren untersuchen drei hierarchische Distillationsstrategien: ein reasoning‑enhanced fine‑tuning, eine trajectory‑based augmentation und ein process‑aware distillation. Diese Ansätze ermöglichen es, die komplexen Entscheidungsprozesse der Agenten während des Trainings zu erfassen und anschließend in einem einzigen Modell zu replizieren. Das Ergebnis ist ein einzelner Agent, der die robuste Problemlösung und Selbstkorrektur mehrerer Agenten nachahmt, jedoch mit der Effizienz eines einzelnen Modells.

Tests auf verschiedenen Aufgaben, Skalierungsstufen und Szenarien zeigen, dass die distillierten Modelle nicht nur schneller arbeiten, sondern auch eine verbesserte Generalisierung und Robustheit gegenüber unterschiedlichen Rechenaufgaben aufweisen. Die Forschung liefert damit einen wichtigen Schritt in Richtung effizienter und zuverlässiger Multi-Agenten-Entwicklung.

Der zugehörige Code ist auf GitHub verfügbar: https://github.com/AIFrontierLab/AgentArk.