Google TPU 文件
Optimum TPU 容器
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
Optimum TPU 容器
文字生成推論 (TGI) 容器
| 容器 | 說明 | Optimum TPU | 映像檔網址 |
|---|---|---|---|
| TGI Base | 針對 TPU 優化的 TGI（無 GCP 依賴項） | 0.2.3 | ghcr.io/huggingface/optimum-tpu:v0.2.3-tgi |
| TGI GCP | 針對 TPU 優化的 TGI（含 GCP 依賴項） | 0.2.3 | us-docker.pkg.dev/deeplearning-platform-release/gcr.io/huggingface-text-generation-inference-tpu.0.2.3.py310 |
訓練容器
| 容器 | 說明 | PyTorch | Transformers | 映像檔網址 |
|---|---|---|---|---|
| Training GCP | PyTorch 訓練（含 GCP 依賴項） | 2.5.1 | 4.46.3 | us-docker.pkg.dev/deeplearning-platform-release/gcr.io/huggingface-pytorch-training-tpu.2.5.1.transformers.4.46.3.py310 |
每個容器皆針對特定使用案例進行了優化
- TGI Base 是一個針對 TPU 優化的基礎 TGI 伺服器
- TGI GCP 包含額外的 GCP 依賴項，並託管於 GCP 上。這是建議在 GCP 上部署 TGI 的方式
- 用於在 TPU VM 上進行模型訓練的 Training GCP 容器
版本資訊
GCP 上的每個版本都鎖定在特定版本的 optimum-tpu、PyTorch 和/或 transformers。若要查看最新可用的映像檔：