Featherless AI 現已登陸 Hugging Face 推理服務提供商 🔥

釋出於 2025 年 6 月 12 日

在 GitHub 上更新

贊

我們很高興地宣佈，Featherless AI 現已成為 Hugging Face Hub 上受支援的推理服務提供商！Featherless AI 加入了我們不斷壯大的生態系統，增強了直接在 Hub 模型頁面上進行 Serverless 推理的廣度和能力。推理服務提供商也無縫整合到我們的客戶端 SDK（包括 JS 和 Python）中，讓您可以非常輕鬆地透過您喜歡的提供商使用各種模型。

Featherless AI 支援多種文字和對話模型，包括來自 DeepSeek、Meta、Google、Qwen 等的最新開源模型。

Featherless AI 是一家 Serverless AI 推理提供商，擁有獨特的模型載入和 GPU 編排能力，為使用者提供了異常龐大的模型目錄。通常，提供商要麼以低成本提供有限的一組模型，要麼提供無限範圍的模型但使用者需要管理伺服器和相關的運營成本。Featherless 提供了兩全其美的方案，既有無與倫比的模型範圍和種類，又採用了 Serverless 定價。您可以在模型頁面上找到支援的模型的完整列表。

我們非常期待看到您將使用這個新提供商構建出什麼樣的應用！

請在其專門的文件頁面中閱讀更多關於如何使用 Featherless 作為推理服務提供商的資訊。

工作原理

在網站 UI 中

在您的使用者帳戶設定中，您可以

為您已註冊的提供商設定您自己的 API 金鑰。如果未設定自定義金鑰，您的請求將透過 HF 路由。在文件中瞭解有關請求型別的更多資訊。
按偏好順序排列提供商。這適用於模型頁面中的小元件和程式碼片段。

如前所述，呼叫推理服務提供商時有兩種模式

自定義金鑰（呼叫直接傳送到推理服務提供商，使用您自己的相應提供商的 API 金鑰）
透過 HF 路由（在這種情況下，您不需要提供商的令牌，費用將直接計入您的 HF 帳戶，而不是提供商的帳戶）

模型頁面會展示第三方推理服務提供商（與當前模型相容的，並按使用者偏好排序）

透過客戶端 SDK

使用 huggingface_hub 的 Python

以下示例展示瞭如何使用 Featherless AI 作為推理提供商來執行 DeepSeek-R1。您可以使用 Hugging Face 令牌透過 Hugging Face 進行自動路由，或者如果您有自己的 Featherless AI API 金鑰，也可以使用它。

安裝或升級 huggingface_hub 以確保您的版本為 v0.33.0 或更高：pip install --upgrade huggingface-hub

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="featherless-ai",
    api_key=os.environ["HF_TOKEN"]
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1-0528", 
    messages=messages, 
)

print(completion.choices[0].message)

使用 @huggingface/inference 的 JS

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1-0528",
    messages: [
        {
            role: "user",
            content: "What is the capital of France?"
        }
    ],
    provider: "featherless-ai",
});

console.log(chatCompletion.choices[0].message);