Effizientere Deep‑RL‑Politikkompression durch Zustandsbesuchsanalyse

Deep Reinforcement Learning (DRL) ist bekannt dafür, sehr viele Trainingsbeispiele zu benötigen, weil die Parameter eines Agenten in einem hochdimensionalen Raum liegen. Ein neues Verfahren namens Occupancy‑based Policy Compression (OPC) zielt darauf ab, diesen Engpass zu überwinden, indem es die Politikparameter auf einen kompakteren, aber dennoch aussagekräftigen latenten Raum abbildet.

Das bisherige Action‑based Policy Compression (APC) reduziert die Parameteranzahl, nutzt jedoch eine Rekonstruktionsfunktion, die nur unmittelbare Aktionsübereinstimmungen berücksichtigt. Diese kurzfristige Sichtweise führt zu Fehlern, die sich über mehrere Zeitschritte hinweg verstärken, und begrenzt die Leistungsfähigkeit des Modells.

OPC löst dieses Problem, indem es die Repräsentation der Agentenverhaltensweise von einzelnen Aktionen auf die langfristige Zustandsbesuchsdichte verlagert. Zwei zentrale Neuerungen unterstützen diese Idee: Erstens wird die Datensammlung mithilfe einer informations­theoretischen Einzigartigkeitss­metrik so gestaltet, dass eine vielfältige Palette von Politiken entsteht. Zweitens wird ein vollständig differenzierbares Kompressionsziel eingeführt, das die Divergenz zwischen der wahren und der rekonstruierten Mischung von Zustandsbesuchsdichten minimiert. Dadurch wird der latente Raum so strukturiert, dass er echte funktionale Ähnlichkeiten widerspiegelt und gleichzeitig die Ausdruckskraft des ursprünglichen Parameterspektrums bewahrt.

Die experimentellen Ergebnisse zeigen, dass OPC Agenten ermöglicht, ein breites Spektrum an Verhaltensweisen zu erlernen, ohne dabei an Flexibilität zu verlieren. Diese Fortschritte könnten die Effizienz von Deep‑RL‑Systemen deutlich steigern und neue Anwendungsbereiche eröffnen, in denen bisher die Datenmenge ein limitierender Faktor war.