Entropie-getriebene Exploration verbessert Zero-Shot RL für Roboter

Zero-Shot‑Reinforcement‑Learning‑Algorithmen zielen darauf ab, aus einem belohnungsfreien Datensatz eine Familie von Policies zu lernen, die anschließend für beliebige Belohnungsfunktionen direkt im Einsatz optimal sind. Die Qualität des vorab gesammelten Datensatzes ist dabei entscheidend, doch die Erfassung eines vielfältigen und relevanten Datensatzes ohne Vorwissen über die späteren Aufgaben stellt ein großes Problem dar.

In der vorliegenden Arbeit wird ein Online‑Zero‑Shot‑RL‑Ansatz für vierbeinige Robotiksysteme vorgestellt, der auf dem Forward‑Backward‑Algorithmus basiert. Die Autoren zeigen, dass ungerichtete Exploration zu Daten mit geringer Vielfalt führt, was die Leistung der nachfolgenden Policies stark beeinträchtigt und sie für den direkten Einsatz an Hardware ungeeignet macht. Um diesem Problem zu begegnen, wird FB‑MEBE (Forward‑Backward Maximum Entropy Behavior Exploration) entwickelt. Dieser Ansatz kombiniert eine unüberwachte Verhaltens‑Exploration, die die Entropie der erreichten Verhaltensverteilung maximiert, mit einem Regularisierungskritiker, der die Policies zu natürlicheren und physikalisch plausiblen Bewegungen formt.

Experimentelle Ergebnisse demonstrieren, dass FB‑MEBE die Leistung gegenüber anderen Explorationsstrategien in einer Vielzahl von simulierten Nachfolgeaufgaben verbessert. Darüber hinaus erzeugt der Ansatz Policies, die sich nahtlos auf reale Hardware übertragen lassen, ohne dass ein weiteres Feintuning erforderlich ist. Dies markiert einen wichtigen Schritt hin zu robusten, hardwarefreundlichen Zero‑Shot‑RL‑Lösungen.

Videos und der zugehörige Code sind auf der Projektwebsite verfügbar, sodass interessierte Forscher und Entwickler die Methode leicht nachvollziehen und weiterentwickeln können.