Hybrid‑Lernmodell kombiniert Modell‑ und Reinforcement Learning für UAV‑Koordination

Ein neues Forschungsprojekt aus dem Bereich der autonomen Robotik hat einen hybriden Lernansatz vorgestellt, der die Stärken von modellbasierten Unsicherheitsabschätzungen mit der Anpassungsfähigkeit von Reinforcement Learning verbindet. Ziel ist es, mehrere unbemannte Luftfahrzeuge (UAVs) effizient zu koordinieren, um räumlich heterogene Aufgaben zu erfüllen.

Der Ansatz besteht aus zwei Phasen. Zunächst nutzen die Agenten einen Log‑Gaussian‑Cox‑Process, um räumliche Glaubensmodelle zu erstellen, und folgen Informations‑getriebenen Pfaden, die von einem Pathwise Mutual Information‑Planner mit Mehrschritt‑Vorschau gesteuert werden. In der zweiten Phase übernimmt ein Soft Actor‑Critic (SAC) die Trajektoriensteuerung. Durch einen dualen Kanal des Wissensübergangs – die Initialisierung des Glaubenszustands liefert Unsicherheitsinformationen, während ein Replay‑Buffer mit Demonstrationspfaden aus der ersten Phase gespeist wird – wird die Lernrate deutlich erhöht.

Ein innovatives, varianznormalisiertes Überlappungs­strafe‑Verfahren sorgt dafür, dass die UAVs in Bereichen mit hoher Unsicherheit zusammenarbeiten, während redundante Abdeckung in gut erforschten Gebieten vermieden wird. In Simulationen, die die Bereitstellung eines drahtlosen Dienstes mit mehreren UAVs modellieren, erzielte das System einen 10,8 % höheren kumulativen Belohnungswert und konvergierte 38 % schneller als herkömmliche Baselines. Ablationsstudien bestätigten, dass die Kombination beider Wissenskanäle wesentlich effektiver ist als die Nutzung eines einzelnen Kanals.