SageMaker: AI-Endpoints mit reservierter GPU-Kapazität ausführen

In diesem Beitrag zeigen wir, wie Sie in Amazon SageMaker gezielt GPU-Kapazität aus der p-Familie suchen, eine Reservierung für Inferenzzwecke anlegen und anschließend einen AI‑Inference‑Endpoint auf dieser reservierten Kapazität bereitstellen.

Zunächst durchsucht der Data Scientist die verfügbaren p‑Family‑GPU‑Ressourcen, um die passende Kapazität für die Modellbewertung zu identifizieren. Dabei werden aktuelle Verfügbarkeiten und Preisoptionen berücksichtigt, sodass die optimale GPU für die geplante Inferenzlast ausgewählt wird.

Im nächsten Schritt wird ein Training‑Plan‑Reservation erstellt, der die gewählte GPU‑Kapazität für den Inferenzbetrieb reserviert. Diese Reservierung garantiert, dass die benötigten Ressourcen während des gesamten Einsatzzeitraums verfügbar bleiben und verhindert unerwartete Engpässe.

Nach erfolgreicher Reservierung wird der SageMaker‑Inference‑Endpoint auf der reservierten GPU gestartet. Der Endpoint nutzt die zugewiesene Kapazität, um Modellvorhersagen in Echtzeit auszuführen, und bietet dabei eine stabile und vorhersehbare Leistung.

Während des gesamten Reservierungszyklus überwacht der Data Scientist den Endpoint, passt bei Bedarf die Ressourcen an und stellt sicher, dass die Inferenzleistung den Anforderungen entspricht. Sobald die Aufgabe abgeschlossen ist, kann die Reservierung freigegeben werden, um Kosten zu optimieren und die Ressourcen für andere Projekte verfügbar zu machen.