安裝

這假設您已經有正在執行的 TPU 執行個體。如果沒有，請參考 TPU 設定教學

如果您是第一次使用 TPU，請參閱我們的教學，該教學解釋了 如何首次設定 TPU

本指南將說明如何安裝 optimum-tpu 套件，以利用 HuggingFace 的解決方案在 Google TPU 上盡可能快速地執行 AI 工作負載 🚀

Optimum-TPU

安裝 optimum-tpu Python 套件主要對訓練很有幫助。如果您希望進行服務（serving），建議的方式是透過 我們的 TGI 容器進行介接。您也可以查看我們的 TPU 服務教學以獲取更多資訊。

安裝 Optimum-TPU 非常簡單，只需：

$ python3 -m pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html
$ export PJRT_DEVICE=TPU

現在，您可以透過 Optimum-TPU 利用 PyTorch/XLA。您可以使用以下指令驗證安裝，該指令應輸出 xla:0，因為我們為此執行個體綁定了一個單一的 TPU 裝置。

$ python -c "import torch_xla.core.xla_model as xm; print(xm.xla_device())"
xla:0

您也可以查看我們其餘的 微調範例，以獲取有關如何使用 optimum-tpu 套件的更多資訊。

備註：您也可以使用 optimum-tpu 訓練容器，這是一個預先配置好的容器，其中已安裝 optimum-tpu 並預先設定好所有 HuggingFace 函式庫。