Lighteval

🤗 Lighteval 是您的一體化工具包，用於在多個後端輕鬆評估大語言模型 (LLM)——無論是 transformers、tgi、推理提供者、vllm 還是 nanotron。透過儲存和探索詳細的、逐樣本的結果，深入瞭解您的模型效能，以進行除錯並檢視您的模型表現如何。

定製化觸手可及：讓您能夠輕鬆建立新任務和指標以滿足您的需求，或瀏覽我們所有現有的任務和指標。

在 Hugging Face Hub、S3 或本地無縫地進行實驗、基準測試和儲存結果。

< > 在 GitHub 上更新