在 Optimum-TPU GitHub 儲存庫中查找更多範例

欲查找最新範例，請瀏覽 GitHub 上 optimum-tpu 儲存庫的 examples 資料夾

文字生成

學習如何針對文字生成任務執行高效能推論

• 基礎生成腳本 (examples/text-generation/generation.py)
  • 展示使用 Gemma 和 Mistral 等模型進行文字生成
  • 包含貪婪取樣 (greedy sampling) 的實作
  • 展示如何使用靜態快取 (static caching) 來提升效能
  • 包含效能測量與時間分析
  • 支援自訂模型載入與設定

語言模型微調

探索如何在 TPU 基礎設施上微調語言模型

1. 互動式 Gemma 教學 (查看文件)
   • 顯示 Gemma 微調過程的完整 Notebook
   • 涵蓋環境設定與 TPU 配置
   • 展示 FSDPv2 整合以進行高效能模型分片 (sharding)
   • 包含資料集準備與 PEFT/LoRA 實作
   • 提供分步訓練工作流程

完整 Notebook 可於 examples/language-modeling/gemma_tuning.ipynb 取得

2. LLaMA 微調指南 (查看文件)
   • 微調 LLaMA-2 與 LLaMA-3 模型的詳細指南
   • 解釋 SPMD 與 FSDP 概念
   • 展示如何實作高效能資料並行訓練
   • 包含實用程式碼範例與先決條件

完整 Notebook 可於 examples/language-modeling/llama_tuning.ipynb 取得

其他資源

• 請造訪 Optimum-TPU GitHub 儲存庫以取得更多詳細資訊
• 探索 Google Cloud TPU 文件以深入了解 TPU 架構

若要為這些範例做出貢獻，請造訪我們的 GitHub 儲存庫。