DeepSeek‑V3: 41 % schnellere Vortrainingsleistung dank MXFP8 und DeepEP auf B200
In einer gemeinsamen Initiative von PyTorch und Nebius konnten wir die Vortrainingszeit von DeepSeek‑V3 Mixture‑of‑Experts Modellen – sowohl der 16‑Billionen‑Parameter‑Variante als auch der 671‑Billionen‑Parameter‑Varia…
- In einer gemeinsamen Initiative von PyTorch und Nebius konnten wir die Vortrainingszeit von DeepSeek‑V3 Mixture‑of‑Experts Modellen – sowohl der 16‑Billionen‑Parameter‑V…
- Durch die Kombination der neuen MXFP8‑Precision und des DeepEP‑Optimierungsframeworks wurden die Rechenressourcen effizienter genutzt und die Trainingsgeschwindigkeit si…
- Die beiden orthogonalen Ansätze, die wir evaluierten, ergänzen sich dabei optimal: MXFP8 reduziert die Speicherbelastung, während DeepEP die Lernrate dynamisch anpasst…
In einer gemeinsamen Initiative von PyTorch und Nebius konnten wir die Vortrainingszeit von DeepSeek‑V3 Mixture‑of‑Experts Modellen – sowohl der 16‑Billionen‑Parameter‑Variante als auch der 671‑Billionen‑Parameter‑Variante – auf einem 256‑GPU‑NVIDIA‑B200‑Cluster mit TorchTitan um bis zu 41 % verkürzen.
Durch die Kombination der neuen MXFP8‑Precision und des DeepEP‑Optimierungsframeworks wurden die Rechenressourcen effizienter genutzt und die Trainingsgeschwindigkeit signifikant gesteigert.
Die beiden orthogonalen Ansätze, die wir evaluierten, ergänzen sich dabei optimal: MXFP8 reduziert die Speicherbelastung, während DeepEP die Lernrate dynamisch anpasst, um die Konvergenz zu beschleunigen.
Diese Fortschritte markieren einen wichtigen Meilenstein für die Skalierung großer Sprachmodelle und eröffnen neue Möglichkeiten für Forschung und Anwendungen, die auf hochleistungsfähigen GPU‑Clustern basieren.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.
Kontext ohne Glossar-Suche
Wenn du nach dieser Meldung weiterlernen willst
Von dieser Meldung direkt in Hub, Analyse und Nachbarthemen
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.
Dieses Thema taucht in denselben KI-Entwicklungen regelmaessig mit auf und hilft beim groesseren Bild.
Dieses Thema taucht in denselben KI-Entwicklungen regelmaessig mit auf und hilft beim groesseren Bild.
Dieses Thema taucht in denselben KI-Entwicklungen regelmaessig mit auf und hilft beim groesseren Bild.