TPU 硬體支援

Optimum-TPU 支援並針對 v5e 和 v6e TPU 進行了最佳化。

TPU 命名約定

TPU 命名遵循以下格式：`<tpu_version>-<number_of_tpus>`

TPU 版本

• v5litepod (v5e)
• v6e

例如，v5litepod-8 是一個帶有 8 個 TPU 的 v5e TPU。

TPU 上的記憶體

每個晶片的 HBM (High Bandwidth Memory) 容量：v5e、v5p 為 16GB，v6e 為 32GB。因此，v5e-8 (v5litepod-8) 擁有 16GB*8=128GB 的 HBM 記憶體。

TPU 推薦執行時

在建立 TPU VM 時，請使用以下 TPU VM 基礎映象以獲得最佳 Optimum-TPU 體驗：

• v2-alpha-tpuv6e (TPU v6e) (推薦)
• v2-alpha-tpuv5 (TPU v5p) (推薦)
• v2-alpha-tpuv5-lite (TPU v5e) (推薦)
• tpu-ubuntu2204-base (預設)

有關安裝說明，請參閱我們的 TPU 設定教程。我們建議您將 alpha 版本與 optimum-tpu 結合使用，因為 optimum-tpu 已經過這些版本的測試和最佳化。

更多資訊請訪問 https://cloud.google.com/tpu/docs/runtimes#pytorch_and_jax

下一步

有關不同 TPU 硬體的更多資訊，您可以檢視：https://cloud.google.com/tpu/docs/v6e https://cloud.google.com/tpu/docs/v5p https://cloud.google.com/tpu/docs/v5e

定價資訊可在此處找到 https://cloud.google.com/tpu/pricing

TPU 可用性可在此處找到 https://cloud.google.com/tpu/docs/regions-zones