Stochastische Gradientenverfahren zeigen lineare Konvergenz bei breiten PINNs
In einer neuen Veröffentlichung auf arXiv wird gezeigt, dass stochastische Gradientenverfahren – die in der Praxis häufig zum Trainieren von Physics‑Informed Neural Networks (PINNs) eingesetzt werden – bei überparametrisierten zwei‑Schicht‑PINNs eine lineare Konvergenz garantieren. Der Nachweis gilt für eine breite Klasse von Aktivierungsfunktionen und liefert mit hoher Wahrscheinlichkeit ein Ergebnis, das die bisherige Analyse von Gradient‑Descent‑Methoden erweitert.
Der zentrale Schwierigkeitsgrad der Untersuchung liegt in der Behandlung der dynamischen Zufälligkeit, die durch stochastische Optimierung entsteht. Der Schlüssel zur Lösung ist die Gewährleistung der positiven Definitheit geeigneter Gram‑Matrix‑Strukturen während des Trainings. Durch diese Analyse erhält man nicht nur ein tieferes Verständnis der Optimierungsdynamik, sondern auch solide Garantien für die Qualität von PINNs, die mit stochastischen Algorithmen trainiert werden.