Adaptive Rewards schaden: Warum statische Gewichte LEO‑Satelliten besser sind

Eine neue Untersuchung auf arXiv zeigt, dass adaptive Belohnungsgewichte bei der Deep‑Reinforcement‑Learning‑Optimierung von Multi‑Beam‑LEO‑Satelliten nicht immer die erwartete Leistung bringen. Stattdessen erzielen nahezu konstante Gewichte eine deutlich höhere Datenrate.

Der sogenannte „Switching‑Stability‑Dilemma“ erklärt, warum dynamisch abgestimmte Belohnungen schlechter abschneiden: Das PPO‑Verfahren benötigt ein quasi‑stationäres Signal, um die Wertfunktion zuverlässig zu konvergieren. Jedes Mal, wenn die Gewichte angepasst werden, wird die Konvergenz neu gestartet und die Gesamtleistung sinkt.

Um die Wirkung einzelner Belohnungskomponenten zu verstehen, wurde ein einzelnes Variablen‑Causal‑Probing‑Verfahren entwickelt. Durch eine ±20 %‑Störung jedes Reward‑Terms und anschließende Messung nach 50 000 Schritten zeigte sich, dass ein +20 %‑Anstieg der Switching‑Strafe die Datenrate für Polar‑Handover um 157 Mbps und für Hot‑Cold‑Regime um 130 Mbps steigert – Erkenntnisse, die ohne systematisches Probing nicht erreichbar wären.

Vier MDP‑Architekturen – fest, regelbasiert, lernend (MLP) und feinabgestimmt (LLM) – wurden unter bekannten und neuen Verkehrsregimen getestet. Das MLP erzielte 357,9 Mbps bei bekannten und 325,2 Mbps bei neuen Regimen, während das feinabgestimmte LLM aufgrund von Gewichtschwankungen nur 45,3 ± 43,0 Mbps erreichte. Die Ergebnisse zeigen, dass die Konsistenz der Ausgaben, nicht das Wissen, die entscheidende Grenze bildet.

Die Studie liefert einen praxisnahen Fahrplan für die Integration von LLMs in DRL‑basierte Kommunikationssysteme und identifiziert klar, in welchen Bereichen LLMs einen unverzichtbaren Mehrwert bieten.