MIR: Effiziente Erkundung in episodischem Multi-Agent RL durch Belohnung

In der Welt des Reinforcement Learning stellen episodische Belohnungen ein großes Problem dar: Sie sind selten und schwer zu erreichen, besonders wenn mehrere Agenten gleichzeitig handeln. Während intrinsische Belohnungssysteme in Ein-Agenten-Szenarien bereits Erfolge verzeichnet haben, stoßen sie bei Multi-Agent Reinforcement Learning (MARL) auf zwei Hauptprobleme: die exponentielle Sparsamkeit gemeinsamer Aktionsfolgen und die fehlende Berücksichtigung von Aktionen, die den Zustand des gesamten Teams beeinflussen.

Um diese Hindernisse zu überwinden, präsentiert die neue Arbeit den Mutual Intrinsic Reward (MIR)-Ansatz. MIR ist ein unkomplizierter, aber wirkungsvoller Zusatzmechanismus, der einzelne Agenten dazu anregt, Aktionen auszuprobieren, die ihre Teamkollegen beeinflussen. Durch die Kombination mit bestehenden Belohnungsstrategien wird die Erkundung des gesamten Teams deutlich verstärkt, was zu einer verbesserten Lernleistung führt.

Für die Validierung wurde die bekannte MiniGrid-Umgebung um ein Multi-Agenten-Element erweitert und als MiniGrid-MA bezeichnet. In dieser Reihe von sparsamen Belohnungsumgebungen wurden MIR-basierte Algorithmen mit führenden Methoden verglichen. Die experimentellen Ergebnisse zeigen, dass MIR die Leistung in allen getesteten Szenarien übertrifft und damit einen bedeutenden Fortschritt im Bereich sparsamer episodischer Belohnungen darstellt.

Die Einführung von MIR markiert einen wichtigen Schritt, um die Herausforderungen von episodischen Belohnungen in Multi-Agenten-Systemen zu meistern und eröffnet neue Möglichkeiten für die Entwicklung effizienterer Lernalgorithmen in komplexen, kollaborativen Umgebungen.