PA2D-MORL: Neue Methode verbessert Pareto-Optimierung im Multi-Objective RL

Multi‑Objective Reinforcement Learning (MORL) ist ein leistungsfähiges Werkzeug für Entscheidungen, bei denen mehrere, oft widersprüchliche Ziele gleichzeitig berücksichtigt werden müssen. In der Praxis bleibt die präzise Annäherung an die Pareto‑Politikmenge jedoch schwierig, insbesondere bei Aufgaben mit kontinuierlichen oder hochdimensionalen Zustands‑ und Aktionsräumen.

Die neue Technik PA2D‑MORL (Pareto Ascent Directional Decomposition based Multi‑Objective Reinforcement Learning) löst dieses Problem, indem sie die Problemdekomposition und die Politikverbesserung effizient kombiniert. Durch die Nutzung der Pareto‑Aufstiegsrichtung werden die Gewichtungen für die Skalarisation dynamisch ausgewählt, während ein Multi‑Objective‑Policy‑Gradient die Optimierungsrichtung bestimmt und eine gleichzeitige Verbesserung aller Ziele gewährleistet. Gleichzeitig werden mehrere Politiken unter einem evolutionären Rahmen selektiv optimiert, um die Pareto‑Grenze aus unterschiedlichen Richtungen zu approximieren.

Ein zusätzliches Merkmal ist die Pareto‑adaptive Feinabstimmung, die die Dichte und Streuung der approximierten Pareto‑Grenze erhöht. In einer Reihe von Robotik‑Kontrollaufgaben zeigte die Methode deutlich bessere Ergebnisse als der aktuelle Stand der Technik, sowohl in Bezug auf die Qualität als auch auf die Stabilität der Lösungen.

PA2D‑MORL demonstriert damit, dass die Kombination aus Pareto‑Aufstiegsrichtung, multi‑objective Policy‑Gradient und evolutionärer Optimierung einen bedeutenden Fortschritt in der Multi‑Objective‑Reinforcement‑Learning‑Forschung darstellt und praktische Anwendungen in komplexen Entscheidungsumgebungen vorantreibt.