🤗 Optimum TPU

**🚧 Optimum-TPU 已存檔。**

儘管該專案不再進行開發，但您仍然可以探索 TPU 解決方案，使用

• TPU 推理進行推理
• 🤗 Accelerate 進行訓練

Optimum TPU 提供了利用和最佳化在 Google Cloud TPU 裝置上執行的 AI 工作負載所需的所有必要機制。Optimum-TPU 是 HuggingFace 為 TPU 平臺最佳化 HuggingFace 產品而提供的解決方案。這使使用者能夠在 TPU 上以最佳效能使用 HuggingFace 的功能和易於使用的庫。我們目前最佳化 transformers 和 TGI，並整合 HuggingFace Hub，以便您可以訪問 HuggingFace 龐大的模型庫。

如果您是來開始在 TPU 上使用 HuggingFace 產品，那麼您來對地方了

該 API 提供了與 HuggingFace transformers 總體相同的使用者體驗，只需要最少的更改即可實現推理和訓練的效能目標。

Optimum TPU 旨在儘可能減少利用 Google Cloud TPU 加速器的阻力。因此，我們提供了一個可 pip 安裝的軟體包，以確保每個人都能輕鬆上手。

pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html

為什麼要選擇 TPU

TPU 在具有矩陣計算、長時間訓練和大型批次大小的大規模機器學習工作負載方面表現出色。相比之下，GPU 為具有自定義操作或混合 CPU/GPU 工作負載的模型提供了更大的靈活性。TPU 對於需要頻繁分支、高精度算術或自定義訓練迴圈操作的工作負載並非理想選擇。更多資訊可在 https://cloud.google.com/tpu/docs/intro-to-tpu#when_to_use_tpus 找到

為什麼要選擇 Optimum-TPU

Optimum-TPU 作為 HuggingFace 生態系統與 Google Cloud TPU 硬體之間的橋樑。它極大地簡化了原本複雜的整合過程，提供了一個直觀的介面，抽象了 TPU 特定的實現細節，同時保持了高效能。透過自動化最佳化、高效的批處理策略、智慧記憶體管理等，Optimum-TPU 確保您的模型在 TPU 硬體上以最高效率執行。該框架與 HuggingFace Hub 的模型和資料集目錄深度整合，能夠輕鬆部署和微調最先進的模型，同時保持 HuggingFace 庫熟悉的易用性，並最大限度地發揮 TPU 硬體的強大功能。