CoMaTrack: Mehragenten-Tracking mit spieltheoretischer Konkurrenz

Die neue Methode CoMaTrack löst das Problem des Embodied Visual Tracking (EVT), bei dem ein Agent einem sprachlich spezifizierten Ziel folgen muss. Traditionelle Ansätze basieren auf einzelagentigem Imitation Learning, was hohe Kosten für Expertendaten verursacht und die Generalisierung in statischen Trainingsumgebungen einschränkt.

CoMaTrack nutzt ein spieltheoretisches Multi-Agenten-Reinforcement-Learning-Framework, in dem Tracker und adaptive Gegner in dynamischen, kompetitiven Subaufgaben gegeneinander antreten. Diese Konkurrenz fördert adaptive Planungsfähigkeiten und Strategien, die robust gegenüber Störungen sind. Ergänzend dazu wurde CoMaTrack-Bench als erstes Benchmark für kompetitives EVT entwickelt. Es bietet Spielszenarien zwischen Tracker und Gegnern in vielfältigen Umgebungen und mit unterschiedlichen Anweisungen, sodass die Robustheit unter aktiven adversarialen Interaktionen standardisiert bewertet werden kann.

Experimentelle Ergebnisse zeigen, dass CoMaTrack sowohl auf etablierten Benchmarks als auch auf CoMaTrack-Bench die besten Leistungen erzielt. Besonders beeindruckend ist, dass ein 3‑Billionen‑Parameter-Vision‑Language‑Model, das mit diesem Framework trainiert wurde, die bisherigen Single-Agenten‑Methoden, die auf 7‑Billionen‑Parameter‑Modellen basieren, bei der EVT‑Bench übertrifft und 92,1 % in STT, 74,2 % in DT und 57,5 % in AT erreicht. Der Benchmark-Code wird auf GitHub zur Verfügung gestellt.