Reinforcement Learning verbessert lebenslange Multi-Agenten-Routenplanung in Lagerhäusern

In modernen Lagerhäusern müssen zahlreiche Roboter kontinuierlich Konfliktfrei navigieren, um die Gesamteffizienz zu maximieren. Das lebenslange Multi-Agenten-Routenplanungsproblem (MAPF) ist dabei von zentraler Bedeutung, doch die Komplexität der Umgebung und die langfristigen Dynamiken erfordern oft aufwändige Anpassungen klassischer Suchalgorithmen.

Ein neues Verfahren, das Reinforcement Learning (RL) mit klassischem Prioritized Planning (PP) kombiniert, verspricht hier einen Durchbruch. Das RL‑gestützte Rolling Horizon Prioritized Planning (RL‑RH‑PP) nutzt PP als robuste Basis und integriert eine lernbasierte Prioritätszuweisung. Durch die Formulierung der dynamischen Priorität als Partially Observable Markov Decision Process (POMDP) kann RL die sequentielle Entscheidungsfindung übernehmen, während PP die komplexen räumlich‑zeitlichen Interaktionen zwischen den Agenten effizient handhabt.

Ein auf Attention basierendes neuronales Netzwerk dekodiert dabei fortlaufend die Prioritätsreihenfolge, sodass PP einzelne Agenten nacheinander planen kann. Simulationen in realistischen Lagerumgebungen zeigen, dass RL‑RH‑PP die höchste Gesamteffizienz erzielt und sich robust über unterschiedliche Agentendichten, Planungszeiträume und Layouts hinweg verhält.

Interpretative Analysen verdeutlichen, dass das System proaktiv Konflikte vermeidet und dadurch die Durchsatzrate deutlich steigert. Damit stellt RL‑RH‑PP einen bedeutenden Fortschritt für die autonome Lagerlogistik dar, indem es die Vorteile von Lernen und klassischer Suche nahtlos verbindet.