Hub 文件
評估結果
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
評估結果
此功能尚在開發中。
Hub 提供了一個去中心化的系統，用於追蹤模型評估結果。基準測試（Benchmark）資料集託管排行榜，而模型儲存庫則存放評估分數，這些分數會自動顯示在模型頁面與基準測試的排行榜上。
基準測試資料集
資料集儲存庫可以定義為基準測試（Benchmarks）（例如：MMLU-Pro、HLE、GPQA）。這些儲存庫會顯示「Benchmark」標籤，並自動彙整來自 Hub 上各個模型儲存庫的評估結果，進而呈現頂尖模型的排行榜。
模型評估結果
評估分數會以 YAML 檔案的形式儲存在模型儲存庫的 .eval_results/ 資料夾中。這些結果：
- 會出現在模型頁面上，並附有指向基準測試排行榜的連結
- 會被彙整至基準測試資料集的排行榜中
- 可以透過 Pull Request (PR) 提交，並標記為「社群提供」(community-provided)
新增評估結果
若要為模型新增評估結果，您可以向模型儲存庫提交一個 PR，其中包含位於 .eval_results/ 資料夾中的 YAML 檔案。
在您的模型儲存庫中建立一個 .eval_results/*.yaml 檔案
- dataset:
id: cais/hle # Required. Hub dataset ID (must be a Benchmark)
task_id: default # Required. ID of the Task, as defined in the dataset's eval.yaml
revision: <hash> # Optional. Dataset revision hash
value: 20.90 # Required. Metric value
verifyToken: <token> # Optional. Cryptographic proof of auditable evaluation
date: "2025-01-15" # Optional. ISO-8601 date or datetime of when the eval was run (defaults to git commit time)
source: # Optional. Attribution for this result, for instance a repo containing output traces or a Paper
url: https://huggingface.co/spaces/SaylorTwift/smollm3-mmlu-pro # Required if source provided
name: Eval traces # Optional. Display name
user: SaylorTwift # Optional. HF username/org
notes: "no-tools" # Optional. Details about the evaluation setup (e.g., "tools", "no-tools", etc.)或者，僅包含必要的屬性
- dataset:
id: Idavidrein/gpqa
task_id: gpqa_diamond
value: 0.412結果會根據 YAML 檔案中的元數據顯示徽章
| 徽章 | 條件 |
|---|---|
| verified (已驗證) | verifyToken 有效（評估已在 HF Jobs 中使用 inspect-ai 執行） |
| 社群 | 結果透過公開 PR 提交（尚未合併至 main 分支） |
| leaderboard (排行榜) | 指向基準測試資料集的連結 |
| 來源 (source) | 指向評估日誌或外部來源的連結 |
有關如何格式化此資料的更多詳細資訊，請查看 Eval Results 規範。
社群貢獻
任何人都可以透過 Pull Request 為任何模型提交評估結果。
- 前往模型頁面，點擊「Community」（社群）分頁並開啟一個 Pull Request。
- 新增一個包含您結果的
.eval_results/*.yaml檔案。 - 當 PR 開啟時，模型頁面上會將其顯示為「community-provided」。
如需評估模型的協助，請參閱使用 Inspect 評估模型指南。
社群分數在 PR 開啟期間可見。如果分數有爭議，模型作者可以關閉 PR 以將其移除。目標是在透明化呈現現有評估資料的同時，透過已驗證的分數邁向完全可重現的標準。
註冊基準測試
若要將您的資料集註冊為基準測試：
- 建立一個包含您評估資料的資料集儲存庫
- 在儲存庫根目錄中新增一個
eval.yaml檔案，並配置您的基準測試，需符合下方定義的規範。 - 該檔案會在推送時進行驗證
- （Beta）請與我們聯繫，以便將其加入許可清單。
您可以在這些基準測試中找到範例：GPQA、MMLU-Pro、HLE、GSM8K。
Eval.yaml 規範
eval.yaml 應包含下列欄位：
name— 基準測試人類可讀的顯示名稱（例如"Humanity's Last Exam"）。description— 簡短描述該基準測試衡量指標。evaluation_framework— 此基準測試的標準評估框架識別碼。這是一個由 Hugging Face 團隊維護的枚舉值列表。您可以在此處的列表中新增您的框架。每個基準測試僅支援一種框架。tasks[]— 由此基準測試定義的任務列表（子排行榜）（見下方）。
每個 tasks[] 項目中的必要欄位：
id— 任務的唯一識別碼（例如"gpqa_diamond"）。單一基準測試可以定義多個任務，每個任務都會產生各自的排行榜。請隨意為每個任務選擇排行榜識別碼。
每個 tasks[] 項目中的選填欄位：
config— 要評估的 Hugging Face 資料集配置（例如"default"）。預設為資料集的預設配置。split— 要評估的 Hugging Face 資料集切分（例如"test"）。預設為"test"。
當設定 evaluation_framework: inspect-ai 時，還需要設定以下欄位：
field_spec— 輸入和輸出欄位的規範。由input、target、choices以及選填的input_image子欄位組成。詳細資訊請參閱文件。solvers— 用於從輸入轉換為輸出的 AI 模型求解器。這可以是從簡單的系統提示詞到自我批判循環的任何形式。詳細資訊請參閱文件。scores— 使用的計分器。計分器決定求解器是否成功為資料集中定義的目標找到正確輸出，以及其衡量程度。詳細資訊請參閱文件。
最小範例（僅需必要欄位）
name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: math-arena
tasks:
- id: MathArena/aime_2026完整範例
name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: "math-arena"
tasks:
- id: MathArena/aime_2026
config: default
split: test完整範例（"inspect-ai" 特有）
name: Humanity's Last Exam
description: >
Humanity's Last Exam (HLE) is a multi-modal benchmark at the frontier of human
knowledge, designed to be the final closed-ended academic benchmark of its
kind with broad subject coverage. Humanity's Last Exam consists of 2,500
questions across dozens of subjects, including mathematics, humanities, and
the natural sciences. HLE is developed globally by subject-matter experts and
consists of multiple-choice and short-answer questions suitable for automated
grading.
evaluation_framework: "inspect-ai"
tasks:
- id: hle
config: default
split: test
field_spec:
input: question
input_image: image
target: answer
solvers:
- name: system_message
args:
template: |
Your response should be in the following format:
Explanation: {your explanation for your answer choice}
Answer: {your chosen answer}
Confidence: {your confidence score between 0% and 100% for your answer}
- name: generate
scorers:
- name: model_graded_fact
args:
model: openai/o3-mini