optimum-tpu 文件
首次在 Google Cloud 上設定 TPU
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
首次在 Google Cloud 上設定 TPU
本指南將引導您在 Google Cloud Platform (GCP) 上設定和訪問您的第一個 TPU 例項。
先決條件
在開始之前,請確保您已具備
- 一個 Google Cloud 賬號
- 您的賬號已啟用結算功能
- 對雲控制檯有基本瞭解
步驟 1:啟用 TPU 訪問許可權
導航到 TPU 儀表板:https://console.cloud.google.com/compute/tpus
- 注意:如果您尚未啟用 TPU API,則需要啟用它
- 必須將有效的結算賬號關聯到您的專案
如果出現提示,請為您的專案啟用 TPU API
步驟 2:建立您的 TPU 例項
點選“建立”按鈕設定您的 TPU 例項。
區域選擇
- 檢視可用的 TPU 區域和可用區:https://cloud.google.com/tpu/docs/regions-zones
- 在此示例中,我們將使用
us-west-4a
可用區- 重要提示:TPU 的可用性可能因區域而異
- 提示:選擇靠近您主要使用地點的區域
TPU 配置
- 選擇 TPU 型別
- 我們將使用 TPU
v5e-8
(對應於 v5litepod8)。這是一個包含 8 個 v5e TPU 晶片的 TPU 節點。 - 有關 TPU 型別的詳細規格,請參閱我們的TPU 硬體型別文件
- 我們將使用 TPU
- 選擇執行時
- 選擇
v2-alpha-tpuv5-lite
執行時 - 此執行時已針對 TPU v5e 進行了最佳化
- 有關執行時的更多資訊,請參閱我們的TPU 硬體頁面中 TPU 推薦執行時部分
- 選擇
步驟 3:訪問您的 TPU
建立後,您的 TPU 例項應該可以透過 SSH 訪問。
訪問您的 TPU
- 點選控制檯中的 SSH 按鈕以立即訪問終端
永久 SSH 訪問
- 按照以下指南新增您的 SSH 金鑰:https://cloud.google.com/compute/docs/connect/add-ssh-keys
- 這將為未來的會話提供更便捷的訪問
- 您還可以檢視我們關於 gcloud cli 的指南中的 ssh 部分
後續步驟
現在您已經擁有了一個可用的 TPU 環境,您可以開始將其用於 AI 工作負載。我們根據您的用例提供兩種主要路徑:
AI 推理和訓練教程
在 TPU 上進行模型服務
- 請遵循我們的服務教程:首次在 TPU 上進行模型服務
- 瞭解如何在 TPU 上高效部署和提供 ML 模型
在 TPU 上進行模型訓練
- 從我們的訓練指南開始:首次在 TPU 上進行模型訓練
- 瞭解如何在 TPU 上開始訓練 ML 模型
選擇最符合您當前需求的教程