使用者研究

模型卡受眾和用例

在對模型文件工具（資料卡等）領域進行調查時，我們注意到不同的利益相關者如何利用現有基礎設施建立一種模型卡，其中包含針對其所需領域的資訊。

一個例子是“業務分析師”或專注於 B2B 以及僅限內部受眾的人。對於此類受眾，靜態且更手動的方法是使用 Confluence 頁面。(如果產品經理編寫頁面，我們就會將模型建立者與理論上的消費隔離開來；如果機器學習工程師編寫頁面，他們可能只傾向於強調某種型別的資訊。 [^1]) 或者建議結合 HTML (Jinja) 模板、Metaflow 類和外部 API 金鑰，以建立包含其領域/用例所需模型資訊視角的模型卡。

我們進行了一項使用者研究，旨在驗證基於文獻的模型卡結構，並瞭解不同利益相關者視角下各部分/區域的重要性排名。該研究旨在驗證以下組成部分：

• 模型卡布局

在我們對模型卡現狀的審查中，我們注意到在 Hub 上下載量前 100 名的模型中，有模型卡的模型卡中，存在重複出現的章節。透過此分析，我們對最常出現的模型卡章節和重複資訊進行了分類，這與 Bloom 模型卡的結構相結合，形成了標準模型卡的初始版本。

當我們開始構建使用者研究時，我們使用了兩種模型卡變體作為互動式演示，這些變體均使用了初始模型卡結構。這些演示的目的是不僅要了解使用者對模型卡視覺元素的看法，還要了解呈現給使用者的內容。其{預期}結果將使我們能夠進一步瞭解如何使模型卡更易於閱讀，同時仍在模型卡中提供一定程度的互動性，並以易於理解[平易近人]的方式呈現資訊。

• 利益相關者視角

由於不同技術背景的人員可能會在模型以及隨後的模型卡上進行協作，我們試圖驗證不同利益相關者視角的必要性。基於編寫不同模型卡部分的易用性以及首先會閱讀的部分

參與者從模型卡閱讀者的角度，以及模型卡作者的角度，對模型卡的不同部分進行了排名。他們對使用者通常會首先閱讀的模型卡部分和模型卡作者會認為最容易編寫的模型卡部分應用了一種排序方案——1 為最高權重，10 為最低權重。

使用者研究問卷回覆總結

我們的使用者研究進一步明確了不同使用者檔案/利益相關者會覺得哪些部分更難或更容易編寫。

下圖顯示，儘管“偏見、風險和侷限性”部分在模型卡作者和模型卡讀者分別的“您以何種順序編寫模型卡”和“您首先檢視哪個部分”中均排名第二，但它也被認為是編寫起來最具挑戰性/最長的部分。這支援/證實了需要進一步評估“偏見、風險和侷限性”部分，以協助編寫這個決定性/必要的部分。

這些模板隨後被用於為下載量前 200 名的 Hugging Face (HF) 模型生成模型卡。

• 我們首先拉取了 Hub 上所有 Hugging Face 模型，特別是“限制”和“偏見”子章節（“風險”子章節大部分不存在）。
• 根據模型型別分組，使用最多且模型下載量較高的輸入，該工具在“偏見、風險和侷限性”部分提供了提示文字。如果未指定模型型別，我們也會提示預設文字。

利用這些資訊，我們回到了對 Hub 上所有模型卡的分析，並結合了其他研究人員和 HF 同行的建議，以及對我們可以向用戶提供哪種提示資訊的研究，以幫助他們建立模型卡。這些預設的提示文字使我們能夠滿足以下目標：

1) 對於以前沒有建立過模型卡或通常不為其模型製作模型卡或任何其他型別模型文件的使用者，提示文字使這些使用者能夠輕鬆建立模型卡。這反過來增加了建立的模型卡數量。

2) 對於已經編寫模型卡的使用者，提示文字鼓勵他們為模型卡新增更多內容，進一步發展模型卡的內容/標準。

使用者研究詳情

我們從與機器學習和模型文件相關的各種背景中選擇了人員。下面，我們詳細介紹了他們的人口統計資訊、他們被問到的問題以及他們回答中相應的見解。有關回復的完整詳細資訊可在附錄 A 中找到。

受訪者人口統計

• 技術與監管事務顧問
• 機器學習工程師 (x2)
• 開發者倡導者
• 執行助理
• 變現主管
• 政策經理/AI 研究員
• 研究實習生

當您與機器學習模型互動時，您想要或需要了解的關於模型的關鍵資訊是什麼？

洞察

• 受訪者優先考慮模型任務/領域 (x3)、訓練資料/訓練過程 (x2)、如何使用模型（附帶程式碼）(x2)、偏差和侷限性以及模型許可證。

關於特定模型卡格式的反饋

格式 1：

Hub 上當前的 distilbert/distilgpt2 模型卡

見解

• 受訪者認為這種模型卡格式簡潔、完整、易讀。
• 對於可摺疊部分沒有達成共識（有些人喜歡並希望更多，有些人不喜歡）。
• 一些受訪者表示“風險和侷限性”應與“超出範圍的使用”放在一起。

格式 2：

Nazneen Rajani 的 互動式模型卡空間

見解

• 儘管少數受訪者非常喜歡這種格式，但大多數人認為它過於複雜或資訊過載。一些人建議這可以作為一種很好的工具，在基礎模型卡上分層，以供更高階的受眾使用。

格式 3：

Ezi Ozoani 的 半互動式模型卡空間

見解

• 幾位受訪者認為這種格式令人難以承受，但他們普遍認為它比格式 2 令人承受的程度要低。
• 幾位受訪者不同意當前的佈局，並就每列中哪些部分應優先顯示提出了具體反饋。

章節排名

按平均排名排序。箭頭相對於調查問題中相關部分的順序顯示。

見解

• 在編寫模型卡時，受訪者普遍表示，他們會按照調查問題中列出的章節順序來編寫模型卡。
• 在按照編寫的難易程度/速度對模型卡的各個部分進行排名時，普遍的共識是，關於使用、侷限性和風險的部分最難編寫。
• 在閱讀模型卡時，受訪者表示他們檢視卡片部分的順序與調查問題中列出的部分順序接近，但並非完全一致。

致謝

我們要感謝並致謝 Bibi Ofuya 在使用者研究中對問題建立以及使用者導向排序和展示方面的指導。

[^1]: 參見 https://towardsdatascience.com/dag-card-is-the-new-model-card-70754847a111

---

請引用： Ozoani, Ezi 和 Gerchick, Marissa 和 Mitchell, Margaret. 模型卡指南. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

< > 在 GitHub 上更新