Zwei-Phasen-Optimierer: Neue Theorie für hochdimensionale Modelle
Der Trend zu immer größeren Trainingsumgebungen hat das Interesse an teilweise asynchronen Zwei-Phasen-Optimierern neu entfacht. Diese Verfahren führen zunächst lokale Updates durch und synchronisieren anschließend die…