optimum-tpu 文件

安裝

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

安裝

這假設您已經有一個正在執行的 TPU 例項。如果還沒有,請檢視TPU 設定教程

如果您是首次使用 TPU,請檢視我們的教程,其中解釋了如何首次設定 TPU

本演練將解釋如何安裝 optimum-tpu 包,以利用 HuggingFace 的解決方案在 Google TPU 上儘可能快地執行 AI 工作負載 🚀

Optimum-TPU

安裝 optimum-tpu python 包主要用於訓練。如果您希望進行服務,建議透過我們的 TGI 容器進行介面連線。您還可以檢視我們的服務教程以獲取更多資訊。

要安裝 Optimum-TPU,應該非常簡單:

$ python3 -m pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html
$ export PJRT_DEVICE=TPU

您現在可以透過 Optimum-TPU 利用 PyTorch/XLA。您可以透過以下命令驗證安裝,該命令應列印`xla:0`,因為我們確實有一個繫結到此例項的 TPU 裝置。

$ python -c "import torch_xla.core.xla_model as xm; print(xm.xla_device())"
xla:0

您還可以檢視我們微調示例的其餘部分,以獲取有關如何使用 optimum-tpu 包的更多資訊。

備註:您也可以使用optimum-tpu 訓練容器,這是一個預設容器,已安裝 optimum-tpu 並預配置了所有 HuggingFace 庫。

© . This site is unofficial and not affiliated with Hugging Face, Inc.