text-generation-inference 文件
支援的模型
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
支援的模型
文字生成推理支援服務最佳化的模型。以下部分列出了支援的模型（VLM 和 LLM）。
- Deepseek V2
- Deepseek V3
- Idefics 2 (多模態)
- Idefics 3 (多模態)
- Llava Next (1.6) (多模態)
- Llama
- Llama4
- Phi 3
- Granite
- Gemma
- PaliGemma
- Gemma2
- Gemma3
- Gemma3 Text
- Cohere
- Dbrx
- Mamba
- Mistral
- Mixtral
- Gpt Bigcode
- Phi
- PhiMoe
- Baichuan
- Falcon
- StarCoder 2
- Qwen 2
- Qwen 2 VL
- Qwen 2.5 VL
- Opt
- T5
- Galactica
- SantaCoder
- Bloom
- Mpt
- Gpt2
- Gpt Neox
- Gptj
- Idefics (多模態)
- Mllama (多模態)
如果上述列表沒有您想服務的模型，根據模型的管道型別，您可以嘗試初始化並服務該模型，以檢視其表現如何，但對於未最佳化的模型，效能無法保證。
# for causal LMs/text-generation models
AutoModelForCausalLM.from_pretrained(<model>, device_map="auto")
# or, for text-to-text generation models
AutoModelForSeq2SeqLM.from_pretrained(<model>, device_map="auto")如果您希望服務一個已存在於本地資料夾中的受支援模型，只需指向該本地資料夾即可。
text-generation-launcher --model-id <PATH-TO-LOCAL-BLOOM>