Neuer, dimensionsunabhängiger Zéro-Order-Estimator für hochdimensionale PINNs

In der Welt der Physik-informierten neuronalen Netze (PINNs) stellen hochdimensionale und hochgradige partielle Differentialgleichungen (PDEs) bislang ein enormes Rechen- und Speicherproblem dar. Traditionelle Ansätze leiden unter einer räumlichen Ableitungs­komplexität von O(d^k) und einem Speicherbedarf von O(P) bei der Rückpropagation.

Randomisierte räumliche Schätzer konnten die räumliche Komplexität bereits auf O(1) reduzieren, doch die Notwendigkeit von First‑Order‑Optimierung führt weiterhin zu einem prohibitiv hohen Speicherverbrauch. Zeroth‑Order‑Optimierung (ZO) bietet eine Alternative ohne Rückpropagation, doch die Kombination mit zufälligen räumlichen Operatoren erzeugt eine Varianzexplosion von O(1/ε²), die numerische Divergenzen verursacht.

Der neue Ansatz, der „Stochastic Dimension‑free Zeroth‑Order Estimator“ (SDZE), löst diese Probleme elegant. Durch die Synchronisation gemeinsamer Zufallszahlen (CRNS) wird die Varianz algebraisch eliminiert, während eine implizite, matrixfreie Unterraum‑Projektion die Parameter‑Varianz von O(P) auf O(r) reduziert – ohne zusätzlichen Speicheraufwand. Das Ergebnis: SDZE ermöglicht das Training von PINNs mit zehn Millionen Parametern auf einem einzelnen NVIDIA A100‑GPU, wobei sowohl Geschwindigkeit als auch Speicherverbrauch deutlich verbessert werden.