Reinforcement Learning stärkt Online-Entscheidungsunterstützung mit Digital Twin
Ein brandneues Tool kombiniert Verstärkendes Lernen, einen digitalen Zwilling eines Patienten und die Wirkung von Behandlungen, um klinische Entscheidungen in Echtzeit zu optimieren. Das System startet mit einer aus historischen Daten abgeleiteten, batch‑beschränkten Policy und arbeitet anschließend in einem kontinuierlichen Streaming‑Loop, der Aktionen auswählt, Sicherheitsprüfungen durchführt und Experten nur bei hoher Unsicherheit hinzuzieht.
Die Unsicherheit wird durch ein kompaktes Ensemble aus fünf Q‑Netzwerken ermittelt. Der Koeffizient der Variation der Aktionswerte, komprimiert mit einer tanh‑Funktion, liefert ein robustes Maß. Der digitale Zwilling aktualisiert den Patientenstatus mittels einer begrenzten Residualregel, während ein Ergebnismodell die unmittelbare klinische Wirkung abschätzt. Der Belohnungswert ergibt sich aus dem Behandlungseffekt im Vergleich zu einer konservativen Referenz, normalisiert mit einem festen z‑Score aus dem Trainingsdatensatz.
Online‑Updates basieren auf aktuellen Daten, kurzen Laufzeiten und exponentiellen gleitenden Durchschnitten. Ein regelbasierter Sicherheitsschalter stellt sicher, dass Vitalwerte und Kontraindikationen stets eingehalten werden, bevor eine Handlung ausgeführt wird. In einem synthetischen klinischen Simulator zeigte das System niedrige Latenz, stabile Durchsatzraten, einen geringen Experten‑Abfrage‑Raten und eine bessere Rendite gegenüber herkömmlichen wertbasierten Baselines.
Damit wird eine offline erstellte Policy in ein kontinuierliches, von Klinikern überwachte System überführt, das klare Kontrollen bietet und sich schnell an neue Daten anpasst. Dieses Konzept eröffnet neue Möglichkeiten für sichere, adaptive klinische Entscheidungsunterstützung in Echtzeit.