PPO bleibt robust: Sequenzmodelle bekämpfen Sensorfehler in RL-Systemen

Reinforcement‑Learning‑Systeme müssen in der Praxis mit Veränderungen in ihren Beobachtungsdaten umgehen können. Die meisten gängigen Policy‑Architekturen gehen jedoch von vollständig beobachteten, fehlerfreien Zuständen aus. In einer neuen Studie wird die Robustheit von Proximal Policy Optimization (PPO) gegen dauerhaft auftretende Sensorfehler untersucht, die zu teilweiser Beobachtbarkeit und einer Verschiebung der Repräsentation führen.

Um dem Drift entgegenzuwirken, erweitert die Arbeit PPO um zeitliche Sequenzmodelle – darunter Transformer und State‑Space‑Modelle (SSM). Diese ermöglichen es den Policies, fehlende Informationen aus der Historie abzuleiten und die Leistung stabil zu halten. Theoretisch wird ein Hochwahrscheinlichkeits‑Grenzwert für die Belohnungsverluste über unendliche Zeiträume nachgewiesen, der zeigt, wie stark die Robustheit von der Glattheit der Policy und der Persistenz der Fehler abhängt.

In praktischen Tests auf MuJoCo‑Kontrollbenchmarks mit schwerem Sensor‑Dropout übertrifft die Transformer‑basierte Sequenzpolicy deutlich die klassischen MLP‑, RNN‑ und SSM‑Baselines. Sie erzielt weiterhin hohe Rückgaben, selbst wenn ein großer Anteil der Sensoren nicht verfügbar ist. Diese Ergebnisse demonstrieren, dass zeitliche Sequenz‑Logik ein fundiertes und zugleich praktikables Mittel darstellt, um RL‑Systeme zuverlässig unter Beobachtungs‑Drift durch Sensor‑Unzuverlässigkeit zu betreiben.