Programmatic Policies übertreffen neuronale in Evolutionären RL-Tests

In der Forschung zu evolutionärem Reinforcement Learning (ERL) werden Agenten häufig mit kleinen künstlichen neuronalen Netzwerken (NERL) programmiert. Diese Netzwerke besitzen jedoch keine klare modulare Struktur, was die Interpretation ihres Verhaltens erschwert. Ein neues Papier untersucht, ob programmgesteuerte Politiken (PERL), die als weiche, differenzierbare Entscheidungslisten (SDDL) umgesetzt werden, die Leistung von NERL erreichen oder sogar übertreffen können.

Um die Ergebnisse reproduzierbar zu machen, stellt die Studie die erste vollständig spezifizierte und quelloffene Implementierung des klassischen 1992er Artificial Life (ALife) ERL-Testbeds bereit. Mit 4000 unabhängigen Durchläufen wurden die Überlebenszeiten der Agenten mittels Kaplan‑Meier-Kurven und dem Restricted Mean Survival Time (RMST) analysiert – Methoden, die im ursprünglichen Werk nicht verwendet wurden.

Die Analyse zeigt einen statistisch signifikanten Unterschied in der Überlebenswahrscheinlichkeit zwischen PERL und NERL. PERL-Agenten überleben im Durchschnitt 201,69 Schritte länger als NERL-Agenten. Darüber hinaus überleben SDDL-Agenten, die ausschließlich lernen (ohne Evolution), im Mittel 73,67 Schritte länger als neuronale Agenten, die sowohl lernen als auch evaluiert werden. Diese Befunde demonstrieren, dass programmgesteuerte Politiken die Überlebensleistung neuronaler Politiken im ALife-Umfeld übertreffen können.