optimum-tpu 文件
Optimum TPU 容器
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
Optimum TPU 容器
文字生成推理 (TGI) 容器
| 容器 | 描述 | Optimum TPU | 映象 URL |
|---|---|---|---|
| TGI Base | TPU 最佳化的 TGI，不含 GCP 依賴項 | 0.2.3 | ghcr.io/huggingface/optimum-tpu:v0.2.3-tgi |
| TGI GCP | TPU 最佳化的 TGI，含 GCP 依賴項 | 0.2.3 | us-docker.pkg.dev/deeplearning-platform-release/gcr.io/huggingface-text-generation-inference-tpu.0.2.3.py310 |
訓練容器
| 容器 | 描述 | PyTorch | Transformers | 映象 URL |
|---|---|---|---|---|
| 訓練 GCP | 帶 GCP 依賴項的 PyTorch 訓練 | 2.5.1 | 4.46.3 | us-docker.pkg.dev/deeplearning-platform-release/gcr.io/huggingface-pytorch-training-tpu.2.5.1.transformers.4.46.3.py310 |
每個容器都針對特定用例進行了最佳化
- TGI Base 是一個為 TPU 最佳化的裸機 TGI 伺服器
- TGI GCP 包含一些額外的 GCP 依賴項，並託管在 GCP 上。這是在 GCP 上部署 TGI 的推薦方式
- 用於在 TPU VM 上訓練模型的訓練 GCP 容器
版本資訊
GCP 上的每個版本都固定到特定版本的 optimum-tpu、PyTorch 和/或 transformers。要檢查最新的可用映象