Microsoft Azure 文件
請求在 Azure 上的 Hugging Face 集合中新增模型
並獲得增強的文件體驗
開始使用
請求在 Azure 上的 Hugging Face 集合中新增模型
目前，Azure ML / AI 上的 Hugging Face 集合包含來自 Hugging Face Hub 的 10,000 多個開放模型，利用了 Text Generation Inference (TGI)、vLLM、SGLang、Text Embeddings Inference (TEI) 或 Hugging Face Inference Toolkit 等開源推理解決方案，未來還將支援更多解決方案。
要請求在 Azure ML / AI 目錄（這些服務共享）上的 Hugging Face 集合中新增模型，您可以導航到 Hugging Face Hub 上的模型卡片，網址為 https://huggingface.co/models，然後單擊“部署”按鈕，查詢“部署到 Azure ML”選項，該選項將自動檢查給定模型是否已在集合中，並提示“請求新增”。
或者，您也可以提出一個問題，說明您希望在 Azure 上的 Hugging Face 集合中看到的模型。
在請求新增模型之前，您需要確保您希望在 Azure 上的 Hugging Face 集合中看到的一個或多個模型符合以下標準：
在 Hugging Face Hub 上具有
Transformers、Diffusers或Sentence-Transformers標籤中的任何一個，這意味著模型架構與這些框架中的任何一個相容。如果您希望在集合中看到的模型不符合此標準，您可以查閱 向 Transformers 貢獻新模型 指南，瞭解如何將新的基於模組的模型架構新增到 Transformers 中。確保任務標籤是目前支援的任何任務，如 Azure AI - 支援的任務 中所列。如果該頁面中沒有列出該任務，也沒有列在即將到來的任務列表中，那麼請隨時提出一個問題，請求新增該任務。再次強調，根據上述觀點，它需要是一個與 Transformers、Diffusers 或 Sentence-Transformers 相容的任務。
如果您想從生產級推理解決方案和用於文字生成和嵌入的 OpenAI 相容介面中受益，您還應該確保給定模型分別具有
text-generation-inference（簡寫為tgi）或text-embeddings-inference（簡寫為tei）標籤。在某些情況下，“部署到 Azure ML”按鈕可能未啟用（不應該是這種情況，但可能發生），在這種情況下，請隨意提出一個問題，分享模型卡，我們將確定該模型是否可以在 Azure 的目錄中。
Hugging Face Hub 模型必須是公開的，並且理想情況下沒有任何門控限制，私有或門控模型目前不予考慮。
出於安全原因，帶有
trust_remote_code的 Hugging Face Hub 模型不允許使用，除非經過手動驗證或來自已驗證的組織。最後，模型權重需要是 Safetensors 格式，並透過 JFrog、ClamAV 和 Hugging Face Hub 中執行的其他安全檢查。