將 Litellm 用作後端

Lighteval 允許使用 litellm，這是一個後端，它允許您使用 OpenAI 格式 [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq 等] 呼叫所有 LLM API。

有關可用 API 和相容端點的文件可以在此處找到。

快速使用

lighteval endpoint litellm \
    "provider=openai,model_name=gpt-3.5-turbo" \
    "lighteval|gsm8k|0|0" \
    --use-chat-template

為了使 litellm 正常工作，需要使用 `--use-chat-template`。

使用配置檔案

Litellm 允許使用任何與 OpenAI 相容的端點生成內容，例如，您可以評估在本地 vllm 伺服器上執行的模型。

為此，您需要使用如下所示的配置檔案

model_parameters:
    model_name: "openai/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"
    base_url: "URL OF THE ENDPOINT YOU WANT TO USE"
    api_key: "" # remove or keep empty as needed
    generation_parameters:
      temperature: 0.5
      max_new_tokens: 256
      stop_tokens: [""]
      top_p: 0.9
      seed: 0
      repetition_penalty: 1.0
      frequency_penalty: 0.0

< > 在 GitHub 上更新