支援的模型

推論

以下大型語言模型 (LLM) 已在 TPU v5e 和 v6e 上通過文本生成推論測試與驗證

• 🦙 LLaMA 系列
  • LLaMA-2 7B
  • LLaMA-3 8B, 70B
  • LlaMa3.1 8B, 70B
  • LLaMA-3.2 1B, 3B (僅文本模型)
  • LlaMa-3.3 70B
• 💎 Gemma 系列
  • Gemma 2B, 7B
• 💨 Mistral 系列
  • Mistral 7B
  • Mixtral 8x7B

微調

以下模型已在 TPU v5e 和 v6e 上通過微調測試與驗證

• 🦙 LLaMA 系列
  • LLaMA-2 7B
  • LLaMA-3 8B
  • LLaMA-3.2 1B
• 💎 Gemma 系列
  • Gemma 2B
  • Gemma 7B