在 Optimum-TPU GitHub 倉庫中查詢更多示例

要查詢最新示例，請訪問 optimum-tpu 倉庫在 GitHub 上的 examples 資料夾

文字生成

瞭解如何高效地執行文字生成任務的推理

• 基本生成指令碼 (examples/text-generation/generation.py)
  • 演示使用 Gemma 和 Mistral 等模型進行文字生成
  • 具有貪婪取樣實現功能
  • 展示如何使用靜態快取以提高效能
  • 包括效能測量和時間分析
  • 支援自定義模型載入和配置

語言模型微調

探索如何在 TPU 基礎設施上微調語言模型

1. 互動式 Gemma 教程 (在文件中檢視)
   • 展示 Gemma 微調過程的完整筆記本
   • 涵蓋環境設定和 TPU 配置
   • 演示 FSDPv2 整合以實現高效模型分片
   • 包括資料集準備和 PEFT/LoRA 實現
   • 提供分步訓練工作流

完整筆記本可在 examples/language-modeling/gemma_tuning.ipynb 找到

2. LLaMA 微調指南 (在文件中檢視)
   • LLaMA-2 和 LLaMA-3 模型微調詳細指南
   • 解釋 SPMD 和 FSDP 概念
   • 展示如何實現高效的資料並行訓練
   • 包括實用程式碼示例和先決條件

完整筆記本可在 examples/language-modeling/llama_tuning.ipynb 找到

其他資源

• 訪問 Optimum-TPU GitHub 倉庫 獲取更多詳情
• 探索 Google Cloud TPU 文件 以更深入地瞭解 TPU 架構

要為這些示例做出貢獻，請訪問我們的 GitHub 倉庫。