在 AWS 上部署的文件
AWS 上可用的 DLC
並獲得增強的文件體驗
開始使用
AWS 上可用的 DLC
以下列出了 AWS 上所有可用的深度學習容器 (DLC)。
針對每種支援的使用場景（訓練、推理）、加速器型別（CPU、GPU、Neuron）和框架（PyTorch、TGI、TEI）組合都建立了容器。
用於在 AWS Trainium 和 AWS Inferentia 例項上進行訓練和推理的 Neuron DLC 可以在Optimum Neuron 文件中找到。
訓練
Pytorch 訓練 DLC：對於訓練，我們的 DLC 透過 Transformers 可用於 PyTorch。它們支援在 GPU 和 AWS AI 晶片上進行訓練，並使用 TRL、Sentence Transformers 或 Diffusers 等庫。
您還可以在此處跟蹤最新的 Pytorch 訓練 DLC 版本。
| 容器 URI | 加速器 |
|---|---|
| 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-training:2.5.1-transformers4.49.0-gpu-py311-cu124-ubuntu22.04 | GPU |
| 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-training-neuronx:2.1.2-transformers4.48.1-neuronx-py310-sdk2.20.0-ubuntu20.04 | Neuron |
推理
Pytorch 推理 DLC
對於推理，我們有一個通用的 PyTorch 推理 DLC，用於在 CPU、GPU 和 AWS AI 晶片上提供使用上述任何框架訓練的模型。
您還可以在此處跟蹤最新的 Pytorch 推理 DLC 版本。
| 容器 URI | 加速器 |
|---|---|
| 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-inference:2.6.0-transformers4.49.0-cpu-py312-ubuntu22.04- | CPU |
| 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-inference:2.6.0-transformers4.49.0-gpu-py312-cu124-ubuntu22.04 | GPU |
| 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-inference-neuronx:2.1.2-transformers4.43.2-neuronx-py310-sdk2.20.0-ubuntu20.04 | Neuron |
LLM TGI
還有 LLM 文字生成推理 (TGI) DLC，用於在 GPU 和 AWS AI 晶片上進行 LLM 的高效能文字生成。
您還可以在此處跟蹤最新的 LLM TGI DLC 版本。
| 容器 URI | 加速器 |
|---|---|
| 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-tgi-inference:2.7.0-tgi3.3.4-gpu-py311-cu124-ubuntu22.04 | GPU |
| 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-tgi-inference:2.1.2-optimum0.0.28-neuronx-py310-ubuntu22.04 | Neuron |
文字嵌入推理
最後，還有一個文字嵌入推理 (TEI) DLC，用於在 CPU 和 GPU 上高效能地提供嵌入模型。
| 容器 URI | 加速器 |
|---|---|
| 683313688378.dkr.ecr.us-east-1.amazonaws.com/tei-cpu:tei1.7.1-cpu-ubuntu22.04 | CPU |
| 683313688378.dkr.ecr.us-east-1.amazonaws.com/tei:tei1.7.1-gpu-cu122-ubuntu22.04 | GPU |
常見問題
如何為我的用例選擇正確的推理容器？
注意：請參閱此處獲取推理工具包中支援的任務列表。
注意：瀏覽 Hub 以檢視您的模型是否標記為“text-generation-inference”或“text-embeddings-inference”
如何查詢我的容器的 URI？
URI 由 AWS 賬戶 ID 和 AWS 區域構建。這兩個值需要根據您的用例進行替換。假設您想在 GPU 上使用訓練 DLC
dlc-aws-account-id：擁有 ECR 儲存庫的 AWS 賬戶的 AWS 賬戶 ID。您可以在此處找到它們region：您要使用它的 AWS 區域。
如何更簡單地查詢我的容器的 URI？
Python SagemMaker SDK 實用函式並不總是最新的，但它比您自己重建映象 URI 要簡單得多。
from sagemaker.huggingface import HuggingFaceModel, get_huggingface_llm_image_uri
print(f"TGI GPU: {get_huggingface_llm_image_uri('huggingface')}")
print(f"TEI GPU: {get_huggingface_llm_image_uri('huggingface-tei')}")
print(f"TEI CPU: {get_huggingface_llm_image_uri('huggingface-tei-cpu')}")
print(f"TGI Neuron: {get_huggingface_llm_image_uri('huggingface-neuronx')}")對於 Pytorch 訓練和 Pytorch 推理 DLC，沒有此類實用程式。
< > 在 GitHub 上更新