optimum-tpu 文件
安裝
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
安裝
這假設您已經有一個正在執行的 TPU 例項。如果還沒有,請檢視TPU 設定教程
如果您是首次使用 TPU,請檢視我們的教程,其中解釋了如何首次設定 TPU
本演練將解釋如何安裝 optimum-tpu 包,以利用 HuggingFace 的解決方案在 Google TPU 上儘可能快地執行 AI 工作負載 🚀
Optimum-TPU
安裝 optimum-tpu python 包主要用於訓練。如果您希望進行服務,建議透過我們的 TGI 容器進行介面連線。您還可以檢視我們的服務教程以獲取更多資訊。
要安裝 Optimum-TPU,應該非常簡單:
$ python3 -m pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html
$ export PJRT_DEVICE=TPU
您現在可以透過 Optimum-TPU 利用 PyTorch/XLA。您可以透過以下命令驗證安裝,該命令應列印`xla:0`,因為我們確實有一個繫結到此例項的 TPU 裝置。
$ python -c "import torch_xla.core.xla_model as xm; print(xm.xla_device())"
xla:0
您還可以檢視我們微調示例的其餘部分,以獲取有關如何使用 optimum-tpu 包的更多資訊。
備註:您也可以使用optimum-tpu 訓練容器,這是一個預設容器,已安裝 optimum-tpu 並預配置了所有 HuggingFace 庫。