Hugging Face 與 FriendliAI 合作，加速模型在 Hub 上的部署

FriendliAI 的推理基礎架構現已作為 “Deploy this model (部署此模型)” 按鈕中的一個選項整合到 Hugging Face Hub 中，從而簡化並加速了生成式 AI 模型的服務。

攜手合作，推動 AI 創新

Hugging Face 賦能開發者、研究人員和企業在 AI 領域進行創新。我們共同的優先事項是建立有影響力的合作伙伴關係，以簡化工作流程，併為 AI 社群提供尖端工具。

今天，我們激動地宣佈 Hugging Face 與 FriendliAI 建立合作伙伴關係。FriendliAI 是加速生成式 AI 推理領域的領導者，此次合作旨在提升開發者部署和管理 AI 模型的方式。本次整合將 FriendliAI Endpoints 作為 Hugging Face Hub 內的一個部署選項，為開發者提供直接訪問高效能、高性價比的推理基礎設施。

根據 Artificial Analysis 的評估，FriendliAI 被評為最快的基於 GPU 的生成式 AI 推理提供商，其擁有連續批處理、原生量化和業界領先的自動縮放等突破性技術。憑藉這些技術，FriendliAI 不斷提升 AI 推理服務的效能標準，為大規模部署生成式 AI 模型提供了更快的處理速度、更低的延遲和顯著的成本節約。透過此次合作，Hugging Face 使用者和 FriendliAI 客戶可以輕鬆地以無與倫比的效率和可靠性部署開源或自定義的生成式 AI 模型。

簡化模型部署

去年，FriendliAI 推出了 Hugging Face 整合，使使用者能夠在其 Friendli Suite 平臺內無縫部署 Hugging Face 模型。透過此整合，使用者可以訪問 Hugging Face 上數千個受支援的開源模型，並能輕鬆部署私有模型。FriendliAI 當前支援的模型架構列表可在此處找到。

今天，我們進一步深化了這一整合，在 Hugging Face Hub 中直接實現了一鍵部署，為使用者提供無縫的體驗。你可以使用 Friendli Suite 帳戶，直接從 Hugging Face Hub 的模型卡片上部署模型。

選擇 Friendli Endpoints 將帶您進入 FriendliAI 的模型部署頁面。在這裡，您可以在 NVIDIA H100 GPU 上部署模型，同時與經過最佳化的開源模型進行互動。部署頁面提供了一個直觀的介面，用於設定 Friendli Dedicated Endpoints，這是用於生成式 AI 推理的託管服務。此外，在您的部署處理期間，您可以直接在頁面上與開源模型聊天，從而輕鬆探索和測試其功能。

在 Friendli 專用端點中使用 NVIDIA H100 部署模型

憑藉 FriendliAI 先進的 GPU 最佳化推理引擎，Dedicated Endpoints (專用端點) 作為託管服務提供快速且經濟高效的推理。開發者只需在模型部署頁面點選“立即部署”，即可使用 Friendli Dedicated Endpoints 在 NVIDIA H100 GPU 上輕鬆部署開源或自定義模型。

H100 GPU 功能強大，但大規模運營成本高昂。藉助 FriendliAI 的最佳化服務，您可以在保持峰值效能的同時減少所需 GPU 的數量，從而顯著降低成本。除了成本效益外，Dedicated Endpoints 還簡化了管理基礎設施的複雜性。

使用 Friendli 無伺服器端點對開源模型進行推理

對於希望高效地對開源模型進行推理的開發者來說，Friendli Serverless Endpoints 是完美的解決方案。該服務為經過 FriendliAI 最佳化的模型提供使用者友好的 API，確保以低成本實現高效能。您可以在模型部署頁面直接與這些強大的開源模型聊天。

下一步計劃

我們很高興能深化 FriendliAI 與 Hugging Face 的合作，為全球開發者提供更便捷的開源 AI 訪問。FriendliAI 的高速、高性價比的推理解決方案消除了基礎設施管理的複雜性，讓使用者能夠專注於創新。我們將與 FriendliAI 一道，繼續致力於改變 AI 的開發方式，推動塑造下一個 AI 時代的突破性創新。

您也可以在我們的組織頁面上關注我們，以獲取未來的最新訊息 🔥