歡迎 Fireworks.ai 登陸 Hub 🎆

釋出於 2025 年 2 月 14 日

在 GitHub 上更新

贊

繼我們最近釋出關於 Hub 上的推理服務提供商的公告之後，我們激動地宣佈 Fireworks.ai 現已成為 HF Hub 支援的推理服務提供商！

Fireworks.ai 直接在模型頁面以及整個 HF 生態系統的庫和工具中提供極速的無伺服器推理，使您比以往任何時候都更容易在您最喜歡的模型上執行推理。

Fireworks.ai supported as Inference Provider on Hugging Face

從現在開始，您可以透過 Fireworks.ai 對以下模型進行無伺服器推理，包括但不限於：

以及更多模型，您可以在這裡找到完整列表。

立即使用 Fireworks.ai 點亮您的專案！

工作原理

在網站使用者介面中

在這裡搜尋 HF 上所有受 Fireworks 支援的模型。

透過客戶端 SDK

使用 huggingface_hub 的 Python

以下示例展示瞭如何使用 Fireworks.ai 作為推理服務提供商來呼叫 DeepSeek-R1。您可以使用 Hugging Face 令牌透過 Hugging Face 自動路由，或者如果您有自己的 Fireworks.ai API 金鑰，也可以使用它。

從原始碼安裝 huggingface_hub

pip install git+https://github.com/huggingface/huggingface_hub

使用 huggingface_hub Python 庫，透過定義 provider 引數來呼叫 Fireworks.ai 端點。

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="fireworks-ai",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1", 
    messages=messages, 
    max_tokens=500
)

print(completion.choices[0].message)

使用 @huggingface/inference 的 JS

import { HfInference } from "@huggingface/inference";

const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1",
    messages: [
        {
            role: "user",
            content: "How to make extremely spicy Mayonnaise?"
        }
    ],
    provider: "fireworks-ai",
    max_tokens: 500
});

console.log(chatCompletion.choices[0].message);

透過 HTTP 呼叫

以下是如何透過 cURL 使用 Fireworks.ai 作為推理服務提供商呼叫 Llama-3.3-70B-Instruct 的方法。

curl 'https://router.huggingface.co/fireworks-ai/v1/chat/completions' \
-H 'Authorization: Bearer xxxxxxxxxxxxxxxxxxxxxxxx' \
-H 'Content-Type: application/json' \
--data '{
    "model": "accounts/fireworks/models/llama-v3p3-70b-instruct",
    "messages": [
        {
            "role": "user",
            "content": "What is the meaning of life if you were a dog?"
        }
    ],
    "max_tokens": 500,
    "stream": false
}'