Hub 文件
ML 文件工具概覽
並獲得增強的文件體驗
開始使用
ML 文件工具概覽
2018 年模型卡片框架的開發靈感來源於自然語言處理資料宣告 (Bender & Friedman, 2018) 和資料集資料表 (Gebru et al., 2018) 等重要的文件框架工作。自模型卡片提出以來，又提出了許多其他工具，用於記錄和評估機器學習開發週期的各個方面。這些工具，包括模型卡片以及模型卡片之前提出的相關文件工作，可以根據其關注點（例如，工具側重於 ML 系統生命週期的哪個部分？）和目標受眾（例如，該工具是為誰設計的？）進行情境化。在下面的圖 1-2 中，我們總結了沿這些維度的幾個主要文件工具，提供了每個工具的上下文描述，並提供了示例連結。我們大致將文件工具分為以下幾組：
- 資料中心型，包括專注於機器學習系統生命週期中使用的資料集的文件工具
- 模型和方法中心型，包括專注於機器學習模型和方法的文件工具；以及
- 系統中心型，包括專注於 ML 系統的文件工具，包括模型、方法、資料集、API 以及作為 ML 系統一部分相互互動的非 AI/ML 元件
這些分組並非相互排斥；它們確實包含 ML 系統生命週期的重疊方面。例如，系統卡片側重於記錄可能包含多個模型和資料集的 ML 系統，因此可能包含與資料中心型或模型中心型文件工具重疊的內容。所描述的工具是 ML 系統生命週期文件工具的非詳盡列表。通常，我們包含的工具
- 側重於 ML 系統生命週期的某些（或多個）方面的文件
- 包含用於重複使用、採用和改編的模板的釋出
ML 文件工具概述
圖 1
| ML 系統生命週期階段 | 工具 | 簡要描述 | 示例 |
|---|---|---|---|
| 資料 | 資料表 (Gebru 等人，2018) | “我們建議每個資料集都附帶一份資料表，記錄其動機、建立、組成、預期用途、分發、維護以及其他資訊。” | 例如，請參閱 Ivy Lee 的倉庫 中的示例。 |
| 資料 | 資料宣告 (Bender & Friedman, 2018)(Bender 等人，2021) | “資料宣告是對資料集的描述，提供上下文，以便開發人員和使用者更好地理解實驗結果的泛化程度、軟體的適當部署方式以及軟體構建系統可能反映的偏見。” | 請參閱 自然語言處理資料宣告研討會 |
| 資料 | 資料集營養標籤 (Holland 等人，2018) | “資料集營養標籤……是一種診斷框架，透過在 AI 模型開發之前提供資料集“成分”的精煉而全面的概述，降低標準化資料分析的門檻。” | 請參閱 資料營養標籤 |
| 資料 | NLP 資料卡 (McMillan-Major 等人，2021) | “我們介紹了在自然語言處理 (NLP) 中建立文件模板和指南的兩個案例研究：Hugging Face (HF) 資料集中心[^1] 和生成及其評估和指標 (GEM) 基準。在這兩種情況下，我們都使用術語資料卡來指代資料集的文件。” | 請參閱 (McMillan-Major 等人，2021) |
| 資料 | 資料集開發生命週期文件框架 (Hutchinson 等人，2021) | “我們引入了一個嚴格的資料集開發透明度框架，支援決策制定和問責制。該框架利用資料集開發的迴圈、基礎設施和工程特性，借鑑了軟體開發生命週期的最佳實踐。” | 請參閱 (Hutchinson 等人，2021)，附錄 A 中的模板 |
| 資料 | 資料卡 (Pushkarna 等人，2021) | “資料卡是關於 ML 資料集各個方面的基本事實的結構化摘要，這些事實是利益相關者在資料集生命週期中進行負責任的 AI 開發所必需的。這些摘要提供了塑造資料並因此塑造模型的流程和原理的解釋。” | 請參閱 資料卡手冊 github |
| 資料 | CrowdWorkSheets (Díaz 等人，2022) | “我們引入了一個新穎的框架 CrowdWorkSheets，供資料集開發人員用於促進資料標註管道各個階段關鍵決策點的透明文件：任務制定、標註者選擇、平臺和基礎設施選擇、資料集分析和評估以及資料集釋出和維護。” | 請參閱 (Díaz 等人，2022) |
| 模型和方法 | 模型卡片 Mitchell 等人 (2018) | “模型卡片是附隨訓練有素的機器學習模型的簡短文件，提供在各種條件下（與預期應用領域相關）的基準評估……模型卡片還披露了模型的預期使用上下文、效能評估程式的詳細資訊以及其他相關資訊。” | 請參閱 https://huggingface.co/models、模型卡片指南 和 模型卡片示例 |
| 模型和方法 | 價值卡片 Shen 等人 (2021) | “我們提出了價值卡片，一個以審議為導向的工具包，旨在讓計算機科學學生和從業人員瞭解基於機器學習的決策系統對社會的影響……價值卡片鼓勵對不同的 ML 效能指標及其潛在權衡進行調查和辯論。” | 請參閱 Shen 等人 (2021)，第 3.3 節 |
| 模型和方法 | 方法卡片 Adkins 等人 (2022) | “我們建議使用方法卡片來指導 ML 工程師完成模型開發過程……這些資訊包括規範性和描述性元素，主要側重於確保 ML 工程師能夠正確使用這些方法。” | 請參閱 Adkins 等人 (2022)，附錄 A |
| 模型和方法 | ML 模型消費者標籤 Seifert 等人 (2019) | “我們建議為訓練和釋出的 ML 模型釋出消費者標籤。這些標籤主要針對機器學習的非專業人士，例如 ML 系統的操作員、決策的執行者和決策主體本身” | 請參閱 Seifert 等人 (2019) |
| 系統 | 事實表 Arnold 等人 (2019) | “事實表將包含 AI 服務的所所有相關屬性部分，例如預期用途、效能、安全性和安全性。效能將包括適當的準確性或風險度量以及時間資訊。” | 請參閱 IBM 的 AI Factsheets 360 和 Hind 等人 (2020) |
| 系統 | 系統卡片 Procope 等人 (2022) | “系統卡片旨在透過向利益相關者概述 ML 系統的不同元件、這些元件如何互動以及系統如何使用不同的資料和受保護資訊來增加 ML 系統的透明度。” | 請參閱 Meta 的 Instagram 動態排名系統卡片 |
| 系統 | RL 獎勵報告 Gilbert 等人 (2022) | “我們勾勒了一個用於記錄已部署學習系統的框架，我們稱之為獎勵報告……我們將獎勵報告概述為跟蹤設計選擇和特定自動化系統正在最佳化的假設的更新的活文件。它們旨在跟蹤系統部署產生的動態現象，而不僅僅是模型或資料的靜態屬性。” | 請參閱 https://rewardreports.github.io |
| 系統 | 魯棒性實驗室 Goel 等人 (2021) | “我們識別了評估 NLP 系統面臨的挑戰，並提出了魯棒性實驗室 (RG) 形式的解決方案，這是一個簡單且可擴充套件的評估工具包，它統一了 4 種標準評估正規化：子群體、轉換、評估集和對抗性攻擊。” | 請參閱 https://github.com/robustness-gym/robustness-gym |
| 系統 | ABOUT ML Raji 和 Yang (2019) | “ABOUT ML（機器學習生命週期理解和透明度的標註和基準測試）是由 PAI 領導的一項為期多年、多利益相關者倡議。該倡議旨在彙集廣泛的觀點，以開發、測試和大規模實施機器學習系統文件實踐。” | 請參閱 ABOUT ML 資源庫 |
資料中心型文件工具
一些提出的文件工具側重於 ML 系統生命週期中使用的資料集，包括用於訓練、開發、驗證、微調和評估機器學習模型作為持續週期的一部分。這些工具通常側重於資料生命週期的許多方面（可能是針對特定資料集、資料集組或更廣泛地），包括資料的組裝、收集、標註方式以及如何使用。
- 擴充套件電子行業資料表的概念，Gebru 等人 (2018) 提出了資料集資料表，用於記錄與資料集建立、潛在用途和相關問題相關的詳細資訊。
- Bender 和 Friedman (2018) 提出了自然語言處理的資料宣告。Bender、Friedman 和 McMillan-Major (2021) 更新了原始資料宣告框架並提供了資源，包括編寫資料宣告和在模式的第一個版本和新版本之間進行轉換的指南[^2]。
- Holland 等人 (2018) 提出了資料營養標籤，類似於食品的營養成分和隱私披露的營養標籤，作為分析和決策資料集的工具。資料營養標籤團隊於 2020 年釋出了標籤的更新設計和介面 (Chmielinski 等人，2020))。
- McMillan-Major 等人 (2021) 描述了 Hugging Face Hub[^3] 上的資料卡和作為自然語言處理生成及其評估指標 (GEM) 環境[^4] 的基準資料集一部分的資料卡的形式的 NLP 資料卡 的開發過程和生成的模板。
- Hutchinson 等人 (2021) 描述了對全面資料集文件的需求，並借鑑軟體開發實踐，提供了用於記錄資料集開發生命週期幾個方面的模板（在表 1 和表 2 中，我們將其框架稱為資料集開發生命週期文件框架）。
- Pushkarna 等人 (2021) 提出了資料卡作為資料卡手冊的一部分，這是一個以人為中心的文件工具，側重於行業和研究中使用的資料集。
模型和方法中心型文件工具
另一組文件工具可以被認為是側重於機器學習模型和機器學習方法的。這些包括：
Mitchell 等人 (2018) 提出了模型卡片用於模型報告，以隨附訓練好的 ML 模型並記錄與評估、使用和其他問題相關的問題。
Shen 等人 (2021) 提出了價值卡片，用於教導學生和從業人員與 ML 模型相關的價值觀。
Seifert 等人 (2019) 提出了 ML 模型消費者標籤，以幫助非專業人士使用或受模型影響時理解與模型相關的關鍵問題。
Adkins 等人 (2022) 分析了描述性文件工具的各個方面——他們認為其中包括模型卡片和資料表——並主張增加針對 ML 工程師的規範性工具。他們提出了側重於 ML 方法的方法卡片，主要針對模型開發人員和評審員等技術利益相關者進行設計。
他們部分地闡述了模型卡片和方法卡片之間的關係：“我們提出的 [方法卡片模板中的] 部分和提示……側重於足以生成具有明確輸入、輸出和任務的適當 ML 模型的方法。例如，目標檢測方法（如單次檢測器）和語言建模方法（如生成式預訓練 Transformer (GPT)）。可以為使用這些方法建立的模型建立模型卡片。”
他們還表示：“雖然模型卡片和事實表主要側重於記錄現有模型，但方法卡片更側重於在建立和訓練這些模型時需要考慮的基本方法和演算法選擇。粗略地類比，如果模型卡片和事實表提供熟食的營養資訊，那麼方法卡片則提供食譜。”
系統中心型文件工具
系統中心型文件工具不側重於特定模型、資料集或方法，而是關注模型如何相互作用，以及與資料集、方法和其他 ML 元件如何形成 ML 系統。
- Procope 等人 (2022) 提出了系統卡片，用於記錄和解釋 AI 系統——可能包括多個 ML 模型、AI 工具和非 AI 技術——這些系統協同工作以完成任務。
- Arnold 等人 (2019) 將消費品合格宣告的概念擴充套件到 AI 服務，提出了事實表，用於記錄“AI 服務”的各個方面，這些服務通常透過 API 訪問，可能由多個不同的 ML 模型組成。Hind 等人 (2020) 分享了構建事實表的經驗。
- Gilbert 等人 (2022) 提出了強化學習系統獎勵報告，認識到 ML 系統的動態特性以及文件工作需要考慮部署後效能，尤其是對於強化學習系統。
- Goel 等人 (2021) 開發了魯棒性實驗室，這是一個評估工具包，用於測試現實世界系統中深度神經網路的幾個方面，從而實現跨評估正規化的比較。
- 透過 ABOUT ML 專案 (Raji 和 Yang，2019)，人工智慧夥伴關係正在協調機器學習社群各利益相關方群體的工作，以開發全面、可擴充套件的 ML 系統文件工具。
模型卡片的演變
自 Mitchell 等人於 2018 年提出模型卡片以來，模型卡片已被各種組織採用和改編，其中包括開發和託管機器學習模型的主要技術公司和初創公司[^5]、描述新技術的研究人員[^6] 以及評估各種專案模型的政府利益相關者[^7]。模型卡片也作為 AI 倫理教育工具包的一部分出現，許多組織和開發人員已經建立了用於自動化或半自動化模型卡片建立的實現。附錄 A 提供了一組針對不同型別 ML 模型（包括大型語言模型的模型卡片）、模型卡片生成工具和模型卡片教育工具建立的模型卡片示例。
Hugging Face Hub 上的模型卡片
自 2018 年以來，也出現了託管和共享模型卡片的新平臺和媒介。例如，與本專案特別相關的是，Hugging Face 將模型卡片作為 README 檔案託管在與 ML 模型相關的倉庫中。因此，模型卡片成為 Hugging Face Hub 模型使用者的一種重要文件形式。作為模型卡片分析的一部分，我們為 Hugging Face Hub 上的數十個 ML 模型開發並提出了模型卡片，並利用 Hub 的拉取請求 (PR) 和討論功能收集關於模型卡片的反饋、驗證模型卡片中包含的資訊，並在 Hugging Face Hub 上釋出模型卡片。在編寫本指南時，Hugging Face Hub 上的所有 Hugging Face 模型都附有相關的模型卡片[^8]。
Hugging Face Hub 上上傳的模型數量眾多（截至本文撰寫時為 101,041 個模型），這使我們能夠探索 Hub 上模型卡片中的內容：我們首先分析語言模型、模型卡片，以識別模式（例如重複的部分和子部分），旨在回答最初的問題，例如
1) 這些模型中有多少個具有模型卡片？
2) 多少百分比的下載量有相關的模型卡片？
透過對 Hub 上所有模型的分析，我們注意到大多數下載來自前 200 個模型。
我們繼續關注大型語言模型，按下載量從高到低排序，並且只從一開始就有模型卡片的模型開始，我們注意到它們各自模型卡片中最常出現的部分。
雖然模型卡片中的某些標題可能因模型而異，但我們將每個模型卡片中元件/每個部分的主題分組，然後將它們對映到最常出現的標題（主要出現在下載量前 200 的模型中，並在 Bloom 模型卡片的幫助/指導下）
[^1]: 對於每個工具，描述均摘錄自第二列中列出的連結論文。
[^2]: 參見 https://techpolicylab.uw.edu/data-statements/。
[^3]: 參見 https://techpolicylab.uw.edu/data-statements/。
[^4]: 參見 https://techpolicylab.uw.edu/data-statements/。
[^5]: 例如，參見 Hugging Face Hub，Google Cloud 的模型卡片 https://modelcards.withgoogle.com/about。
[^6]: 參見附錄 A。
[^7]: 參見 GSA / 美國人口普查局模型卡片生成器協作。
[^8]: “Hugging Face 模型”是指 Hugging Face（而非其他組織）在 Hub 上共享的模型。形式上，這些模型的模型 ID 中不包含“/”。
請引用：Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook
< > 在 GitHub 上更新