讓數千個開源大型語言模型在 Vertex AI Model Garden 中綻放
今天，我們非常高興地宣佈推出 Deploy on Google Cloud，這是 Hugging Face Hub 上的一項新整合，可以輕鬆地使用 Vertex AI 或 Google Kubernetes Engine (GKE) 將數千個基礎模型部署到 Google Cloud。透過 Deploy on Google Cloud，您可以輕鬆地將開源模型作為 API 端點部署到自己的 Google Cloud 賬戶中，可以直接透過 Hugging Face 模型卡進行部署，也可以透過 Vertex Model Garden 進行部署，Vertex Model Garden 是 Google Cloud 發現、自定義和部署來自 Google 及 Google 合作伙伴的各種模型的單一平臺。從今天開始，我們將為 Hugging Face 上最受歡迎的開源模型啟用推理功能，並由我們的生產解決方案 Text Generation Inference 提供支援。
透過 Deploy on Google Cloud，開發者可以直接在他們安全的 Google Cloud 環境中構建生產就緒的生成式 AI 應用程式，而無需管理基礎設施和伺服器。
AI 開發者協作
這項新體驗是在我們今年早些時候宣佈的 戰略合作伙伴關係 的基礎上擴充套件的，旨在簡化 Google 客戶對開源生成式 AI 模型的訪問和部署。開發者和組織面臨的主要問題之一是安全可靠地部署模型所需的時間和資源。Deploy on Google Cloud 為這些挑戰提供了簡單、託管的解決方案，為 Hugging Face 模型提供了專用配置和資產。只需點選幾下即可在 Google Cloud 的 Vertex AI 上建立生產就緒的端點。
“Vertex AI 的 Model Garden 與 Hugging Face Hub 的整合使得在 Vertex AI 和 GKE 上發現和部署開源模型變得無縫，無論您是從 Hub 開始還是直接從 Google Cloud Console 開始，”Google 產品經理 Wenming Ye 說。“我們迫不及待地想看看 Google 開發者將用 Hugging Face 模型構建出什麼。”
如何運作 - 從 Hub
在 Google Cloud 上部署 Hugging Face 模型非常容易。下面，您將找到關於如何部署 Zephyr Gemma 的分步說明。從今天開始，所有帶有“text-generation-inference”標籤的模型 都將受支援。
開啟“部署”選單，選擇“Google Cloud”。這將直接將您帶到 Google Cloud 控制檯，在那裡您可以一鍵將 Zephyr Gemma 部署到 Vertex AI 或 GKE。
進入 Vertex Model Garden 後，您可以選擇 Vertex AI 或 GKE 作為部署環境。對於 Vertex AI，您只需點選“部署”即可部署模型。對於 GKE，您可以按照說明和清單模板將模型部署到新的或正在執行的 Kubernetes 叢集上。
如何運作 - 從 Vertex 模型園地
Vertex Model Garden 是 Google 開發者為其生成式 AI 專案尋找即用型模型的平臺。從今天開始，Vertex Model Garden 提供了一種新體驗，可以輕鬆部署 Hugging Face 上最受歡迎的開源 LLM！
您可以在 Google Vertex AI Model Garden 中找到新的“從 Hugging Face 部署”選項，它允許您直接在 Google Cloud 控制檯中搜索和部署 Hugging Face 模型。
當您點選“從 Hugging Face 部署”時，將出現一個表單，您可以在其中快速搜尋模型 ID。Hugging Face 上數百個最受歡迎的開源 LLM 都提供即用型、經過測試的硬體配置。
找到要部署的模型後，選擇它，Vertex AI 將預填充所有必需的配置，以便將模型部署到 Vertex AI 或 GKE。您甚至可以透過“在 Hugging Face 上檢視”來確保選擇了正確的模型。如果您使用的是受限模型，請務必提供您的 Hugging Face 訪問令牌，以便授權模型下載。
就是這樣！直接從 Vertex Model Garden 將 Zephyr Gemma 等模型部署到您自己的 Google Cloud 賬戶只需點選幾下。
我們才剛剛開始
我們很高興與 Google Cloud 合作，讓 AI 對所有人更開放、更易訪問。無論您是從 Hugging Face Hub 還是從 Google Cloud 控制檯開始，在 Google Cloud 上部署開放模型都從未如此簡單。我們不會止步於此——敬請期待，我們將提供更多體驗，以便在 Google Cloud 上使用開放模型構建 AI！
