Hierarchisches RL mit Sicherheitsabschirmung verbessert Stromnetzsteuerung

Reinforcement‑Learning (RL) hat das Potenzial, Aufgaben in der Stromnetzsteuerung wie die Topologie‑Kontrolle und die Lasten­management zu automatisieren. In der Praxis bleiben jedoch die strengen Sicherheitsanforderungen, die Anfälligkeit bei seltenen Störungen und die schlechte Generalisierung auf unbekannte Netz­topologien die größten Hindernisse. Für kritische Infrastrukturen dürfen katastrophale Ausfälle nicht toleriert werden, weshalb lernbasierte Steuerungen innerhalb harter physikalischer Grenzen arbeiten müssen.

In dem neuen Beitrag wird ein hierarchisches Kontrollframework vorgestellt, das die langfristige Entscheidungsfindung von der Echtzeit‑Feasibility‑Sicherung trennt. Ein hoch­rangiges RL‑Modell schlägt abstrakte Steuerungs­aktionen vor, während ein deterministisches Runtime‑Safety‑Shield potenziell unsichere Aktionen mithilfe schneller Vorwärts­simulationen herausfiltert. Die Sicherheit wird als Laufzeit‑Invariant implementiert, die unabhängig von der Qualität der Policy oder der Trainingsverteilung funktioniert.

Die Methode wurde auf der Grid2Op‑Benchmark‑Suite getestet, unter normalen Bedingungen, bei gezielten Linien­ausfall‑Stresstests und sogar in einer Zero‑Shot‑Einführung auf dem ICAPS‑2021‑Transmission‑Grid ohne erneutes Training. Die Ergebnisse zeigen, dass flache RL‑Policies bei Stressfällen brüchig sind, während reine Safety‑Methoden zu konservativ agieren. Das hierarchische, safety‑aware Verfahren hingegen erzielt längere Episode‑Überleben, geringere Spitzenlasten an Leitungen und eine robuste Zero‑Shot‑Generalisation auf unbekannte Netze.

Diese Ergebnisse deuten darauf hin, dass die Kombination aus hierarchischem Lernen und runtime‑Sicherheitsabschirmung sowohl die Zuverlässigkeit als auch die Übertragbarkeit von RL‑basierten Steuerungen in realen Stromnetzen deutlich verbessert.