Hugging Face 推理解決方案概述

釋出於 2022 年 11 月 21 日

每天，開發人員和組織都在採用託管在 Hugging Face 上的模型，將想法轉化為概念驗證演示，並將演示轉化為生產級應用程式。例如，Transformer 模型已成為各種機器學習 (ML) 應用程式的流行架構，包括自然語言處理、計算機視覺、語音等。最近，擴散模型已成為文字到影像或影像到影像生成的流行架構。其他架構也適用於其他任務，我們都在 HF Hub 上託管它們！

在 Hugging Face，我們致力於簡化 ML 開發和操作，同時不影響最先進的質量。在這方面，在 ML 專案的整個生命週期中，以最小的摩擦測試和部署最新模型的能力至關重要。最佳化成本效能比同樣重要，我們感謝我們的朋友 Intel 贊助我們的免費基於 CPU 的推理解決方案。這是我們合作的又一個重要步驟。對於我們的使用者社群來說，這也是個好訊息，他們現在可以免費享受 Intel Xeon Ice Lake 架構帶來的加速。

現在，讓我們回顧一下 Hugging Face 的推理選項。

免費推理小部件

Hugging Face Hub 上我最喜歡的功能之一是推理小部件。推理小部件位於模型頁面上，讓您只需單擊一下即可上傳示例資料並進行預測。

這是一個使用 sentence-transformers/all-MiniLM-L6-v2 模型的句子相似度示例

這是快速瞭解模型功能、輸出以及模型在資料集中的少量樣本上表現的最佳方式。模型根據需要載入到我們的伺服器上，並在不再需要時解除安裝。您無需編寫任何程式碼，此功能是免費的。有什麼理由不喜歡呢？

免費推理 API

推理 API 是推理小部件的底層支援。透過簡單的 HTTP 請求，您可以在幾秒鐘內載入任何 Hub 模型並使用它來預測您的資料。您只需要模型 URL 和有效的 Hub 令牌。

以下是我如何用一行程式碼載入並使用 xlm-roberta-base 模型進行預測

curl https://api-inference.huggingface.co/models/xlm-roberta-base \
    -X POST \
    -d '{"inputs": "The answer to the universe is <mask>."}' \
    -H "Authorization: Bearer HF_TOKEN"

推理 API 是構建預測服務的最簡單方法，您可以在開發和測試期間立即從應用程式呼叫該服務。無需定製 API 或模型伺服器。此外，您可以立即從一個模型切換到下一個模型，並比較它們在應用程式中的效能。您猜怎麼著？推理 API 是免費使用的。

由於實行速率限制，我們不建議將推理 API 用於生產環境。相反，您應該考慮使用推理端點。

使用推理端點進行生產

一旦您對 ML 模型的效能感到滿意，就可以將其部署到生產環境了。不幸的是，當離開沙盒時，一切都變得令人擔憂：安全性、擴充套件性、監控等。這是許多 ML 專案止步不前甚至失敗的地方。我們構建了推理端點來解決這個問題。

只需點選幾下，推理端點即可讓您將任何 Hub 模型部署到安全可擴充套件的基礎設施上，該基礎設施託管在您選擇的 AWS 或 Azure 區域。附加設定包括 CPU 和 GPU 託管、內建自動擴縮等。這使得找到合適的成本/效能比變得容易，定價低至每小時 0.06 美元。

推理端點支援三種安全級別

公共：端點在公共 Hugging Face 子網中執行，網際網路上的任何人都可以未經身份驗證訪問它。
受保護：端點在公共 Hugging Face 子網中執行，網際網路上擁有相應 Hugging Face 令牌的任何人都可以訪問它。
私有：端點在私有 Hugging Face 子網中執行，無法透過網際網路訪問。它只能透過您 AWS 或 Azure 賬戶中的私有連線訪問。這將滿足最嚴格的合規性要求。