CybORG erweitert: Realistische Simulation für autonome Cyber‑Operationen
In einer neuen Studie, die auf arXiv unter der Nummer 2508.19278v1 veröffentlicht wurde, zeigen Forscher, wie die Simulationsplattform CybORG um realistische Funktionen erweitert werden kann, um die Ausbildung von Reinforcement‑Learning‑Agenten für autonome Cyber‑Operationen (ACO) zu verbessern.
Simulierte Umgebungen sind für ACO unverzichtbar, weil sie es ermöglichen, Agenten ohne den hohen Rechenaufwand echter Emulation zu trainieren. Damit die Trainingsdaten jedoch wirklich aussagekräftig sind, müssen die Simulationen die Komplexität echter Cyber‑Szenarien widerspiegeln und gleichzeitig klare Signale für die Belohnungsfunktion liefern.
Die Autoren haben das bestehende CybORG‑Cage‑Challenge‑2‑Modell um drei neue Aktionen erweitert: Patch, Isolate und Unisolate. Diese Befehle spiegeln die Werkzeuge wider, die menschliche Operatoren in realen Netzwerken einsetzen, und erhöhen damit die Plausibilität der simulierten Umgebung.
Darüber hinaus haben die Forscher die Belohnungsstruktur und den Feature‑Space der Agenten angepasst, um die Lernleistung zu steigern. Durch gezielte Modifikationen der Rückmeldungen können die Agenten schneller und effizienter lernen, welche Handlungen in welchen Situationen vorteilhaft sind.
Die Wirksamkeit der Änderungen wurde durch das Training von DQN‑ und PPO‑Agenten in der aktualisierten Umgebung demonstriert. Die Ergebnisse zeigen, dass CybORG nicht nur um zusätzliche, realistische Funktionen erweitert werden kann, sondern dabei weiterhin aussagekräftige Trainingssignale liefert, die für die Entwicklung leistungsfähiger RL‑Agenten entscheidend sind.
Die Studie liefert damit einen wichtigen Beitrag zur Weiterentwicklung von Simulationswerkzeugen für autonome Cyber‑Operationen und eröffnet neue Möglichkeiten, komplexe Sicherheitsaufgaben in einer kontrollierten, aber realitätsnahen Umgebung zu erproben.