Neues Maß für Kommunikationsverlust bei verzögerten Nachrichten in Multi-Agenten

Kommunikation ist das Herzstück der Koordination in kooperativem Multi-Agenten‑Reinforcement‑Learning, doch Verzögerungen über mehrere Zeitschritte hinweg führen dazu, dass Nachrichten erst später ankommen. Dadurch entsteht eine zeitliche Fehlanpassung und die Informationen werden veraltet, sobald sie verarbeitet werden.

Um dieses Problem zu adressieren, wurde das Konzept des verzögerten Kommunikations‑Partially Observable Markov Game (DeComm‑POMG) eingeführt. In diesem Rahmen wird der Einfluss einer Nachricht in zwei Komponenten zerlegt: den Kommunikationsgewinn und die Verzögerungskosten. Das daraus resultierende Kommunikationsgewinn‑Verzögerungskosten‑Metrik (CGDC) bietet einen klaren, quantitativen Überblick darüber, wie viel Nutzen eine Nachricht trotz Verzögerung noch bringt.

Ein theoretischer Wertverlust‑Grenzwert zeigt, dass die durch verzögerte Nachrichten verursachte Leistungseinbuße durch die diskontierte Summe der Informationslücken zwischen den Aktionsverteilungen, die durch rechtzeitige versus verzögerte Nachrichten entstehen, begrenzt ist. Dieser Grenzwert liefert ein solides Fundament für die Bewertung von Kommunikationsstrategien.

Auf Basis der CGDC‑Metrik wurde das CDCMA‑Framework entwickelt, ein Actor‑Critic‑Ansatz, der Nachrichten nur dann anfordert, wenn der prognostizierte CGDC positiv ist. Zusätzlich werden zukünftige Beobachtungen vorhergesagt, um die zeitliche Diskrepanz zu verringern, und verzögerte Nachrichten werden mittels CGDC‑gesteuerter Aufmerksamkeit zusammengeführt.

Experimentelle Ergebnisse auf Varianten von Cooperative Navigation, Predator Prey und SMAC‑Karten mit unterschiedlichen Verzögerungsstufen zeigen konsistente Verbesserungen in Leistung, Robustheit und Generalisierung. Ablationsstudien bestätigen die Wirksamkeit jedes einzelnen Komponenten des CDCMA-Ansatzes.