支援的模型

推理

以下 LLM 已在 TPU v5e 和 v6e 上測試並驗證了文字生成推理功能

• 🦙 LLaMA 系列
  • LLaMA-2 7B
  • LLaMA-3 8B, 70B
  • LlaMa3.1 8B, 70B
  • LLaMA-3.2 1B, 3B (僅文字模型)
  • LlaMa-3.3 70B
• 💎 Gemma 系列
  • Gemma 2B, 7B
• 💨 Mistral 系列
  • Mistral 7B
  • Mixtral 8x7B

微調

以下模型已在 TPU v5e 和 v6e 上測試並驗證了微調功能

• 🦙 LLaMA 系列
  • LLaMA-2 7B
  • LLaMA-3 8B
  • LLaMA-3.2 1B
• 💎 Gemma 系列
  • Gemma 2B
  • Gemma 7B