AgentComm-Bench: Belastungstest für kooperative Embodied AI bei Netzwerkproblemen

In der Forschung zu kooperativen, eingebetteten KI-Systemen werden die meisten Tests unter idealisierten Kommunikationsbedingungen durchgeführt – keine Latenz, kein Paketverlust und unbegrenzte Bandbreite. In der Praxis jedoch müssen Roboter, autonome Fahrzeuge und Drohnen mit drahtlosen Netzwerken arbeiten, die Verzögerungen, Paketverluste und Bandbreitenengpässe aufweisen. Diese Diskrepanz zwischen Testumgebung und Einsatzrealität hat die Entwickler von AgentComm-Bench dazu veranlasst, ein neues Benchmark-Set zu schaffen, das die Belastbarkeit von kooperativen Embodied AI unter realistischen Netzwerkbedingungen systematisch prüft.

AgentComm-Bench umfasst sechs Dimensionen von Kommunikationsstörungen: Latenz, Paketverlust, Bandbreitenkollaps, asynchrone Updates, veraltete Speicherstände und widersprüchliche Sensordaten. Die Benchmark deckt drei Aufgabenfamilien ab – kooperative Wahrnehmung, mehragentenbasierte Wegpunktnavigation und kooperative Zonensuche – und bewertet fünf Kommunikationsstrategien, darunter eine von den Autoren entwickelte Methode, die redundante Nachrichtenkodierung mit stalen Datenfusion kombiniert. Diese Technik zielt darauf ab, die Auswirkungen von Paketverlusten und veralteten Informationen zu minimieren.

Die Experimente zeigen, dass Aufgaben, die stark von der Kommunikation abhängen, bei Störungen dramatisch zurückfallen. Veraltete Speicherstände und Bandbreitenkollaps führen zu Leistungsabfällen von über 96 % bei Navigationsaufgaben, während die Wahrnehmung F1‑Werte um mehr als 85 % sinken, wenn Daten veraltet oder widersprüchlich sind. Die Wirkung der Störungen hängt stark von der Aufgabenstruktur ab: Während die Wahrnehmungsfusion relativ robust gegenüber Paketverlusten ist, verstärkt sie die Auswirkungen von Datenkorruption. Die redundante Nachrichtenkodierung verdoppelt die Navigationsleistung sogar bei 80 % Paketverlust.

Mit der Veröffentlichung von AgentComm-Bench bietet die Community ein praxisnahes Evaluierungsprotokoll, das die Robustheit von kooperativen Embodied AI-Systemen unter realen Netzwerkbedingungen misst. Die Autoren empfehlen, dass zukünftige Arbeiten die Leistung unter mehreren Störungsbedingungen offenlegen, um die Übertragbarkeit von Forschungsergebnissen in die Praxis zu gewährleisten.