在 Google Cloud TPU 例項上進行訓練

歡迎閱讀 🤗 Optimum-TPU 訓練指南！本節介紹如何使用 Google Cloud TPU 對模型進行微調。

支援的模型

請參閱支援的模型。

入門

先決條件

在開始訓練過程之前，請確保您已具備：

1. 配置好的 Google Cloud TPU 例項（請參閱部署指南）
2. 安裝了支援 PyTorch/XLA 的 Optimum-TPU

pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html

訓練指令碼示例

現在您可以按照我們的一些示例指令碼開始訓練

1. Gemma 微調

   • 請參閱我們的Gemma 微調筆記本以獲取分步指南

2. LLaMA 微調

   • 請檢視我們的LLaMA 微調筆記本以獲取詳細說明