Groq 現已登陸 Hugging Face 推理服務提供商 🔥

釋出於 2025 年 6 月 16 日

在 GitHub 上更新

贊

我們很高興地宣佈，Groq 現已成為 Hugging Face Hub 上受支援的推理服務提供商！Groq 加入了我們不斷發展的生態系統，增強了直接在 Hub 模型頁面上進行無伺服器推理的廣度和能力。推理服務提供商也無縫整合到我們的客戶端 SDK（支援 JS 和 Python），使您可以非常輕鬆地透過您首選的提供商使用各種模型。

Groq 支援多種文字和對話模型，包括最新的開源模型，如 Meta 的 Llama 4、Qwen 的 QWQ-32B 等等。

Groq 技術的核心是語言處理單元 (LPU™)，這是一種新型的端到端處理單元系統，可為計算密集型且具有順序成分的應用（如大型語言模型 LLM）提供最快的推理速度。LPU 旨在克服 GPU 在推理方面的侷限性，提供顯著更低的延遲和更高的吞吐量。這使它們成為即時 AI 應用的理想選擇。

Groq 為開源模型提供快速的 AI 推理。他們提供了一個 API，讓開發者可以輕鬆地將這些模型整合到自己的應用程式中。它提供按需、即用即付的模式來訪問廣泛的開源 LLM。

您現在可以在 Hugging Face 上將 Groq 的推理 API 作為推理服務提供商使用。我們非常期待看到您將用這個新的提供商構建出什麼樣的應用。

請在其專門的文件頁面中閱讀更多關於如何使用 Groq 作為推理服務提供商的資訊。

在此處檢視支援的模型列表。

工作原理

在網站 UI 中

在您的使用者帳戶設定中，您可以

為您已註冊的提供商設定您自己的 API 金鑰。如果未設定自定義金鑰，您的請求將透過 HF 路由。
按偏好順序排列提供商。這適用於模型頁面中的小元件和程式碼片段。

如前所述，呼叫推理服務提供商有兩種模式

自定義金鑰（呼叫直接傳送到推理服務提供商，使用您自己的相應提供商的 API 金鑰）
透過 HF 路由（在這種情況下，您不需要提供商的令牌，費用將直接計入您的 HF 帳戶，而不是提供商的帳戶）

模型頁面會展示第三方推理服務提供商（與當前模型相容的，並按使用者偏好排序）

從客戶端 SDK

從 Python，使用 huggingface_hub

以下示例展示瞭如何使用 Groq 作為推理服務提供商來呼叫 Meta 的 Llama 4。您可以使用 Hugging Face 令牌透過 Hugging Face 自動路由，或者如果您有自己的 Groq API 金鑰，也可以使用它。

從原始碼安裝 huggingface_hub（請參閱安裝說明）。官方支援將在 v0.33.0 版本中很快釋出。

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="groq",
    api_key=os.environ["HF_TOKEN"],
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="meta-llama/Llama-4-Scout-17B-16E-Instruct",
    messages=messages,
)

print(completion.choices[0].message)

從 JS，使用 @huggingface/inference

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
  model: "meta-llama/Llama-4-Scout-17B-16E-Instruct",
  messages: [
    {
      role: "user",
      content: "What is the capital of France?",
    },
  ],
  provider: "groq",
});

console.log(chatCompletion.choices[0].message);