推理服務提供商

文字生成

根據提示生成文字。

如果您對基於訊息列表生成響應的聊天補全任務感興趣，請檢視 chat-completion 任務。

推薦模型

• google/gemma-2-2b-it: 一個經過訓練以遵循指令的文字生成模型。
• deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B: 最強大模型之一的較小變體。
• meta-llama/Meta-Llama-3.1-8B-Instruct: 一個經過訓練以遵循指令的非常強大的文字生成模型。
• microsoft/phi-4: 微軟開發的強大文字生成模型。
• simplescaling/s1.1-32B: 一個具有推理能力的非常強大的模型。
• Qwen/Qwen2.5-7B-Instruct-1M: 支援非常長指令的強大對話模型。
• Qwen/Qwen2.5-Coder-32B-Instruct: 用於編寫程式碼的文字生成模型。
• deepseek-ai/DeepSeek-R1: 強大的基於推理的開源大型語言模型。

在此處探索所有可用模型並找到最適合您的模型。

使用 API

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="featherless-ai",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="moonshotai/Kimi-K2-Instruct",
    messages="\"Can you please let us know more details about your \"",
)

print(completion.choices[0].message)

API 規範

請求

響應

輸出型別取決於 `stream` 輸入引數。如果 `stream` 為 `false`（預設），則響應將是具有以下欄位的 JSON 物件：

如果 `stream` 為 `true`，生成的令牌將作為流返回，使用伺服器傳送事件 (SSE)。有關流的更多資訊，請檢視本指南。