Optimum Neuron 容器

我們為 Amazon SageMaker 提供了預構建的 Optimum Neuron 容器。這些容器預裝了所有的 Hugging Face 庫和依賴項，因此您可以立即開始使用。我們提供用於訓練和推理的容器，以及帶有 TGI 的最佳化文字生成容器。下表是最新版本，僅包含每個容器的最新版本。您可以在 深度學習容器釋出說明 中找到舊版本。

我們建議使用 sagemaker Python SDK 來檢索您想要使用的容器的映象 URI。以下程式碼片段用於檢索最新的文字生成推理容器映象 URI：

from sagemaker.huggingface import get_huggingface_llm_image_uri
 
# retrieve the llm image uri
llm_image = get_huggingface_llm_image_uri(
  "huggingface-neuronx"
)

print(f"llm image uri: {llm_image}")

可用的 Optimum Neuron 容器

請將 763104351884 替換為正確的 AWS 賬戶 ID，並將 region 替換為您正在使用的 AWS 區域。