透過 GCloud CLI 部署並連接至 Google TPU 執行個體

背景資訊

我們假設讀者已經建立了 Google Cloud Platform (GCP) 使用者或組織帳戶，並擁有相關聯的專案。

我們也假設讀者已安裝 Google Cloud CLI。如果尚未安裝，請依照下方連結進行安裝與設定。

在 GCP 上建立初始 TPU VM

為了建立您的初始 TPU 執行個體，您需要提供一些資訊：

• 您希望部署執行個體的 GCP 區域（例如：開發目的建議選擇離讀者較近的區域，生產環境則建議靠近終端使用者）。
• 您想要使用的 TPU 類型。
• 您想要在該執行個體上利用的 TPU 執行階段 (runtime) 版本。
• 自訂執行個體名稱，以便快速瀏覽與識別執行個體。

總體而言，最終指令看起來會像這樣：

gcloud compute tpus tpu-vm create <ref_instance_name> \
--zone=<deploiment_zone> \
--accelerator-type=<target_tpu_generation> \
--version=<runtime_version>

部署 TPU v5litepod-8 執行個體

在我們的範例中，我們將部署一個名稱為 optimum-tpu-get-started 的 v5litepod-8 執行個體，位於 GCP 區域 us-west4-a，並使用最新的 v2-alpha-tpuv5-lite 執行階段版本。

當然，請隨意調整這些參數，以符合您的使用需求與配額。

建立執行個體之前，請務必安裝 gcloud alpha component，因為這是針對 TPUv5 VM 進行操作的必要條件：gcloud components install alpha

gcloud alpha compute tpus tpu-vm create optimum-tpu-get-started \
--zone=us-west4-a \
--accelerator-type=v5litepod-8 \
--version=v2-alpha-tpuv5-lite

透過 ssh 連接至執行個體

gcloud compute tpus tpu-vm ssh <ref_instance_name> --zone=<deployment_zone>
$ >

在上述部署 v5litepod-8 的範例中，指令會類似這樣：

gcloud compute tpus tpu-vm ssh optimum-tpu-get-started --zone=us-west4-a
$ >

其他實用指令

這可用於取得 tpu-vm 的相關資訊，例如其外部 IP。

gcloud compute tpus tpu-vm describe --zone=<tpu_zone> <tpu_name>

後續步驟

• 如果您希望訓練自己的模型，現在可以安裝 optimum-tpu。
• 如果您希望進行推論服務，可以參考我們的服務教學 (serving tutorial)。