Lighteval

將推理服務提供商用作後端

Lighteval 允許使用 Hugging Face 的推理服務提供商來評估大語言模型（LLM），支援的提供商包括 Black Forest Labs、Cerebras、Fireworks AI、Nebius、Together AI 等等。

快速使用

不要忘記設定你的 HuggingFace API 金鑰。你可以透過 `HF_TOKEN` 環境變數來設定，或者使用 `huggingface-cli` 命令。

lighteval endpoint inference-providers \
    "model_name=deepseek-ai/DeepSeek-R1,provider=hf-inference" \
    "lighteval|gsm8k|0|0"

使用配置檔案

你可以使用配置檔案來定義要使用的模型和提供商。

lighteval endpoint inference-providers \
    examples/model_configs/inference_providers.yaml \
    "lighteval|gsm8k|0|0"

使用以下配置檔案

model_parameters:
  model_name: "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"
  provider: "novita"
  timeout: null
  proxies: null
  parallel_calls_count: 10
  generation_parameters:
    temperature: 0.8
    top_k: 10
    max_new_tokens: 10000

< > 在 GitHub 上更新