Lighteval 文件
安裝
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
安裝
您可以從 PyPi 或從原始碼安裝 Lighteval。
從 PyPi 安裝
pip install lighteval
從原始碼安裝
從原始碼安裝主要適用於打算在 lighteval 上進行開發的開發者。
git clone https://github.com/huggingface/lighteval.git
cd lighteval
pip install -e .附加功能
Lighteval 有一些可選的依賴項，您可以透過指定相應的附加功能組來安裝它們。pip install lighteval[<group>] 或 pip install -e .[<group>]。
如果您想將 lighteval 與 sglang 一起使用，請嘗試遵循 sglang 安裝文件。
| 附加功能名稱 | 描述 |
|---|---|
| tgi | 使用文字生成推理 API 來評估您的模型 |
| nanotron | 評估 nanotron 模型 |
| quantization | 評估量化模型 |
| adapters | 評估介面卡模型（delta 和 peft） |
| tensorboardX | 將您的結果上傳到 tensorboard |
| vllm | 使用 vllm 作為推理後端 |
| sglang | 使用 sglang 作為推理後端 |
| s3 | 將結果上傳到 s3 |
Hugging Face 登入
如果您想將您的結果推送到 Hugging Face Hub 或評估您自己的私有模型，請不要忘記將您的訪問令牌新增到環境變數 HF_TOKEN 中。您可以透過執行以下命令來完成此操作：
huggingface-cli login