介紹三家新的無伺服器推理提供商：Hyperbolic、Nebius AI Studio 和 Novita 🔥

釋出於 2025 年 2 月 18 日

在 GitHub 上更新

贊

100

我們激動地宣佈，Hugging Face Hub 新增了三家傑出的無伺服器推理提供商：Hyperbolic、Nebius AI Studio 和 Novita。這些提供商加入了我們不斷壯大的生態系統，擴充套件了直接在 Hub 模型頁面上進行無伺服器推理的廣度和能力。它們也無縫整合到我們的客戶端 SDK (包括 JS 和 Python) 中，讓您可以非常輕鬆地透過您喜歡的提供商使用各種各樣的模型。

這些合作伙伴加入了我們現有的提供商行列，其中包括 Together AI、Sambanova、Replicate、fal 和 Fireworks.ai。

新的合作伙伴支援了一大批新模型：DeepSeek-R1、Flux.1 以及許多其他模型。在下方可以找到它們支援的所有模型

我們非常期待看到您將使用這些新的提供商創造出什麼！

工作原理

在網站 UI 中

在您的使用者帳戶設定中，您可以

為您已註冊的提供商設定您自己的 API 金鑰。如果未設定自定義金鑰，您的請求將透過 HF 進行路由。
按偏好順序排列提供商。這適用於模型頁面中的小元件和程式碼片段。

如上所述，呼叫推理 API 有兩種模式

自定義金鑰（呼叫直接傳送到推理服務提供商，使用您自己的相應提供商的 API 金鑰）
透過 HF 路由（在這種情況下，您不需要提供商的令牌，費用將直接計入您的 HF 帳戶，而不是提供商的帳戶）

模型頁面會展示第三方推理服務提供商（與當前模型相容的，並按使用者偏好排序）

透過客戶端 SDK

透過 Python，使用 huggingface_hub

以下示例展示瞭如何使用 Hyperbolic 作為推理提供商來執行 DeepSeek-R1。您可以使用 Hugging Face 令牌透過 Hugging Face 自動路由，或者如果您有自己的 Hyperbolic API 金鑰，也可以使用它。

從原始碼安裝 huggingface_hub (參見說明)。官方支援將很快在 v0.29.0 版本中釋出。

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="hyperbolic",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1", 
    messages=messages, 
    max_tokens=500
)

print(completion.choices[0].message)

以下是如何使用在 Nebius AI Studio 上執行的 FLUX.1-dev 從文字提示生成影像

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="nebius",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

# output is a PIL.Image object
image = client.text_to_image(
    "Bob Marley in the style of a painting by Johannes Vermeer",
    model="black-forest-labs/FLUX.1-schnell"
)

要切換到不同的提供商，您只需更改提供商名稱，其他所有內容保持不變

from huggingface_hub import InferenceClient

client = InferenceClient(
-	provider="nebius",
+   provider="hyperbolic",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

透過 JS，使用 @huggingface/inference

import { HfInference } from "@huggingface/inference";

const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1",
    messages: [
        {
            role: "user",
            content: "What is the capital of France?"
        }
    ],
    provider: "novita",
    max_tokens: 500
});

console.log(chatCompletion.choices[0].message);