Robuster Algorithmus für Multi-Agent Reinforcement Learning

In der Forschung zu Multi-Agent Reinforcement Learning (MARL) stellt die Berechnung robuster Gleichgewichte in Markov-Spielen eine zentrale Herausforderung dar. Ein neues Verfahren, RQRE-OVI, löst dieses Problem, indem es die sogenannte Risk‑Sensitive Quantal Response Equilibrium (RQRE) nutzt, die ein eindeutiges, glattes Gleichgewicht liefert, selbst wenn die Agenten nur begrenzte Rationalität besitzen.

RQRE erweitert das klassische Nash‑Gleichgewicht um Risikosensitivität und begrenzte Rationalität. Dadurch entsteht ein Gleichgewicht, das nicht nur eindeutig, sondern auch stabil gegenüber kleinen Änderungen in den Belohnungen ist. RQRE-OVI führt eine optimistische Value‑Iteration durch und arbeitet mit linearer Funktionsapproximation, sodass es auch in großen oder kontinuierlichen Zustandsräumen anwendbar ist.

Die theoretische Analyse zeigt, dass die Regret‑Grenzen von RQRE-OVI explizit von den Parametern für Rationalität und Risikosensitivität abhängen. Eine höhere Rationalität reduziert das Regret, während Risikosensitivität als Regularisierung wirkt und die Stabilität erhöht. Diese Wechselwirkung bildet ein Pareto‑Front, das die Balance zwischen erwarteter Leistung und Robustheit beschreibt. Zusätzlich ist die RQRE‑Policy‑Map Lipschitz‑stetig in Bezug auf geschätzte Auszahlungen, was sie gegenüber dem klassischen Nash‑Gleichgewicht robuster macht. RQRE lässt sich zudem als distributionell robustes Optimierungsproblem interpretieren.

Experimentell demonstriert RQRE-OVI, dass es in Selbstspiel-Szenarien konkurrenzfähige Ergebnisse erzielt, während es gleichzeitig deutlich robustere Verhaltensweisen bei Cross‑Play gegenüber herkömmlichen Nash‑basierten Ansätzen zeigt. Diese Erkenntnisse deuten darauf hin, dass RQRE-OVI ein skalierbares und principielles Werkzeug für die Entwicklung von Agenten ist, die in dynamischen Mehragentensystemen zuverlässig und widerstandsfähig agieren.