Neue RL‑Trading‑Umgebung simuliert realistische Marktimpact‑Kosten

Reinforcement‑Learning (RL) hat großes Potenzial für den Börsenhandel, doch die meisten Open‑Source‑Backtesting‑Umgebungen gehen von vernachlässigbaren oder festen Transaktionskosten aus. Das führt dazu, dass Agenten Handelsstrategien erlernen, die in der Praxis versagen.

Um diesem Problem zu begegnen, stellen die Autoren drei Gymnasium‑kompatible Umgebungen vor – MACE (Market‑Adjusted Cost Execution) – für Aktienhandel, Margin‑Trading und Portfolio‑Optimierung. Diese Umgebungen nutzen nichtlineare Marktimpact‑Modelle, die auf dem Almgren‑Chriss‑Rahmen und der empirisch bestätigten Quadratwurzel‑Impact‑Gesetzgebung basieren. Sie bieten austauschbare Kostenmodelle, verfolgen permanentes Impact mit exponentiellem Abklingen und protokollieren jeden Trade detailliert.

In einer umfangreichen Evaluation wurden fünf Deep‑RL‑Algorithmen (A2C, PPO, DDPG, SAC, TD3) auf dem NASDAQ‑100 getestet. Dabei wurden die Ergebnisse eines festen 10‑Basis‑Punkte‑Modells mit denen des AC‑Modells verglichen, wobei die Hyperparameter mit Optuna optimiert wurden.

Die Ergebnisse zeigen, dass das Kostenmodell die absolute Performance und die relative Rangfolge der Algorithmen in allen drei Umgebungen signifikant verändert. Das AC‑Modell führt zu drastisch niedrigeren Handelskosten – von 200 000 $ pro Tag auf 8 000 $ – und senkt das Handelsvolumen von 19 % auf 1 %. Hyperparameter‑Optimierung ist entscheidend, um pathologisches Verhalten zu begrenzen, wobei die Kosten bis zu 82 % reduziert werden können. Die Wechselwirkungen zwischen Algorithmus und Kostenmodell sind stark umgebungsspezifisch: Bei Margin‑Trading steigt der Out‑of‑Sample‑Sharpe von DDPG von –2,1 auf 0,3, während SAC von –0,5 auf –1,2 sinkt.

Die komplette Suite wird als Open‑Source-Erweiterung für FinRL‑Meta veröffentlicht und bietet damit Forschern und Praktikern ein realistisches Testfeld für RL‑basierte Handelsstrategien.