機器學習專家——瑪格麗特·米切爾

釋出於2022年3月23日

在 GitHub 上更新

贊

布蘭妮·穆勒

britneymuller

朋友們好！歡迎來到機器學習專家。我是主持人布蘭妮·穆勒，今天的嘉賓是瑪格麗特·米切爾（簡稱梅格）。梅格創立並共同領導了谷歌的倫理AI小組，是機器學習領域的先驅，發表了50多篇論文，是倫理AI領域的領先研究員。

您將聽到梅格講述她認識到倫理AI重要性那一刻的故事（一個不可思議的故事！），機器學習團隊如何能更清楚地識別有害資料偏見，以及機器學習中包容性和多樣性的力量（和效能）優勢。

非常高興能向大家介紹這期精彩的節目！以下是我與梅格·米切爾的對話

轉錄：

注意：為提供最佳閱讀體驗，文字稿已稍作修改/重新排版。

您能簡單介紹一下您的背景以及是什麼讓您來到了Hugging Face嗎？

瑪格麗特·米切爾博士的背景

裡德學院語言學學士學位——從事自然語言處理（NLP）工作
在獲得學士學位後和研究生學習期間，她從事輔助和增強技術工作
華盛頓大學計算語言學碩士學位
計算機科學博士學位

梅格：我在約翰·霍普金斯大學做博士後時做了大量的統計工作，然後去了微軟研究院，在那裡我繼續做視覺到語言的生成，這導致我為一個幫助盲人更容易地探索世界的應用程式Seeing AI工作。

在微軟工作幾年後，我離開去了谷歌，專注於深度學習中固有的 Big Data 問題。在那裡，我開始關注公平性、對各種問題的嚴格評估以及偏見等問題。在谷歌期間，我創立並共同領導了倫理AI團隊，該團隊專注於包容性和透明度。

在谷歌工作四年後，我來到了Hugging Face，得以全身心投入到編碼工作中。我正在幫助建立倫理AI研究、包容性招聘、系統以及在Hugging Face建立良好文化的協議。

您是什麼時候認識到倫理AI的重要性的？

梅格：這發生在我還在微軟工作，從事輔助技術Seeing AI的時候。總的來說，我當時正在研究從影像生成語言，我開始看到資料是多麼不平衡。資料代表了世界的一部分，它影響著模型會說什麼。

因此，我開始遇到這樣的問題：白人被描述為“人”，而黑人被描述為“黑人”，彷彿白人是預設的，黑人是被標記的特徵。這讓我很擔心。

還有一個頓悟的時刻，當時我正在向我的系統輸入一系列影像，讓它更多地講述一個故事。我輸入了一些關於一次大規模爆炸的圖片，很多人在那裡工作，叫做“Hebstad爆炸”。你可以看到拍照的人在二樓或三樓，看向爆炸。爆炸離這個人很近。那是一個非常可怕和緊張的時刻，當我把這些輸入到系統時，系統的輸出是“這太棒了，景色真好，太美了”。我心想……這可怕的場景景色確實很棒，但重要的是可能有人在死亡。這是一次大規模的毀滅性爆炸。

但問題是，當你從影像中學習時，人們通常不會拍攝可怕的東西，他們會拍攝日落、煙花等，而視覺識別模型在這些影像上學習，並認為天空中的顏色是積極、美麗的事物。

在那一刻，我意識到如果一個具有那種思維的模型能夠採取行動，那麼它離一個認為建築物爆炸很美並能按下按鈕引爆建築物的系統，只差一步。

那一刻，我意識到我不想再讓這些系統在基準測試上表現得更好，我想要從根本上改變我們看待這些問題的方式，我們處理資料和分析資料的方式，我們評估的方式以及這些簡單的流程中我們遺漏的所有因素。

所以，那真的成為了我轉向倫理AI工作的轉折點。

在哪些應用中，資料倫理最為重要？

梅格：以人為中心、處理人及身份資訊（人臉識別、行人識別）的技術。在自然語言處理中，這更多地涉及個人隱私、如何談論個人以及模型在描述人時產生的偏見。

機器學習團隊如何才能更清楚地識別有害偏見？

梅格：一個主要問題是，這些概念尚未被教授，大多數團隊根本不瞭解。另一個問題是缺乏一個詞彙表來將正在發生的事情情境化並進行交流。

例如：

這就是邊緣化
這就是權力差異
這就是包容
刻板印象是如何運作的

更好地理解這些支柱真的非常重要。

另一個問題是機器學習背後的文化。它有點採取“強勢”或“男子氣概”的方式，重點在於“打敗”上一個資料、讓事情“更快”、“更大”等等。這與人體解剖學有很多相似之處。

還有一種非常敵對的競爭，你會發現女性被不成比例地視為不如男性。

由於女性通常更熟悉歧視，所以她們更關注人工智慧中的倫理、刻板印象、性別歧視等問題。這意味著它更多地與女性聯絡在一起，並被視為不那麼重要，這使得這種文化更難滲透。

人們普遍認為我不懂技術。我不得不一次又一次地證明這一點。他們稱我為語言學家、倫理學家，因為這些是我關心和了解的事情，但這被視為低人一等。人們說或想，“你不程式設計，你不懂統計，你不那麼重要，”通常直到我開始技術性地談論事情，人們才會認真對待我，這很不幸。

機器學習存在巨大的文化障礙。

缺乏多樣性和包容性傷害所有人

梅格：多樣性是指你在會議桌上有各種族裔、民族、性別、能力和地位的人。包容性是指每個人都感到自在地發言，感到受歡迎。

變得更具包容性的最佳方式之一就是不要排他。這聽起來相當明顯，但卻經常被忽略。人們被排除在會議之外，因為我們覺得他們沒有幫助，或者覺得他們令人討厭或好鬥（這與各種偏見有關）。要做到包容，你就不能排他，所以在安排會議時，要注意你邀請的人員的人口構成。如果你的會議全是男性，那就有問題了。

在傳送電子郵件時，有意識地注意你所包含人員的人口構成是極其寶貴的。但你會發現在科技界，很多會議都是清一色男性，如果你提出這個問題，可能會遭到很大的敵意。寧可多包容一些人。

我們都有偏見，但有一些方法可以打破這些模式。在寫電子郵件時，我會檢查他們的性別和種族，以確保我具有包容性。這是一個非常自覺的努力。這種透過人口統計學思考的方式有所幫助。然而，在有人傳送電子郵件或安排會議之前提及這一點。事後提及這些事情，人們往往不會有很好的反應。

人工智慧中的多樣性——有沒有證據表明，在一個機器學習專案中擁有更多樣化的人員會帶來更好的結果？

梅格：是的，因為你有不同的視角，你對選擇有不同的分佈，因此，有更多的選擇。機器學習的一個基本方面是，當你開始訓練時，你可以使用隨機的起始點和你想要取樣的分佈型別。

大多數工程師都同意，你不希望只從分佈的一小部分進行取樣，以獲得找到區域性最優解的最佳機會。

你需要把這種方法應用到在座的人身上。

就像你希望在不同的初始狀態下采用高斯方法一樣，在開始專案時，你也希望在會議桌上保持這種多樣性，因為它能為你提供更大的搜尋空間，從而更容易達到區域性最優。

您能談談模型卡以及這個專案是如何產生的嗎？

梅格：這個專案始於我在谷歌工作的時候，當時我剛開始研究公平性以及如何嚴格評估公平性。

為了做到這一點，你需要了解上下文和誰會使用它。這圍繞著如何處理模型偏見，但它並沒有得到太多關注。

我當時正在和蒂姆尼特·格布魯交談，她當時是該領域與我有相似興趣的人，她在談論資料表這個想法；一種資料文件（基於她在蘋果公司的工程經驗，在那裡你通常有硬體規格）。但我們沒有類似的資料文件，她當時在說這有多麼瘋狂。

所以蒂姆尼特有了關於資料集資料表的想法。這讓我意識到，透過擁有一個“人工製品”，科技界那些受釋出激勵的人會更關心它。所以，如果我們說你必須生產這個人工製品，並且它將算作一次釋出，那麼人們就會更有動力去做。

我們想出這個名字的方式是，與“資料表”相對應的可用於模型的詞是“卡片”（而且它更短）。我們也決定稱其為“模型卡”，因為這個名字非常通用，並且會隨著時間的推移而具有生命力。

蒂姆尼特的論文叫做《資料集資料表》。所以我們的論文叫做《用於模型報告的模型卡》，一旦我們發表了論文，人們就開始更認真地對待我們。沒有蒂姆尼特·格布魯的才華，就不可能做到這一點，她建議：“你需要一個人工製品，一個人們會想要生產的標準化東西。”

模型卡將走向何方？

梅格：以一種符合倫理的方式製作模型卡存在相當大的准入門檻。部分原因是需要填寫這些資訊的人通常是工程師和開發者，他們希望釋出自己的模型，而不希望坐下來思考文件和倫理問題。

我之所以想加入Hugging Face，部分原因在於它給了我一個機會，將這些流程標準化，並儘可能自動化。我非常喜歡Hugging Face的一點是，它專注於建立儘可能順暢的端到端機器學習流程。我希望也能對模型卡做類似的事情，使其能夠根據不同的問題甚至直接根據模型規範自動生成大部分內容。

我們希望致力於使模型卡儘可能完整並具有互動性。互動性將允許您在移動決策閾值時檢視假陰性率的差異。通常，對於分類系統，您會設定一個閾值來決定是或否，例如0.7，但實際上，您希望改變決策閾值以權衡不同的錯誤。

一份關於其工作效果的靜態報告不如您希望的那樣資訊豐富，因為您想知道在選擇不同決策閾值時它的工作效果如何，並且您可以使用它來決定您的系統應該使用哪個決策閾值。因此，我們建立了一個模型卡，您可以在其中互動式地更改決策閾值並檢視數字如何變化。朝著進一步自動化和互動性的方向發展是正確的方法。

決策閾值與模型透明度

梅格：當亞馬遜首次推出人臉識別和人臉分析技術時，發現對黑人女性的性別分類 disproportionately poor，亞馬遜回應稱“這是使用了錯誤的決策閾值”。然後，一家使用這些系統的警察機構被問及他們使用的決策閾值時，他們說：“哦，我們沒有使用決策閾值。”

這就像，哦，你真的不明白這是如何工作的，並且正在使用開箱即用的預設引數設定？！這是一個問題。因此，最低限度地擁有這個文件可以提高對圍繞各種型別引數的決策的認識。

機器學習模型與我們公開發布的其他事物截然不同。玩具、藥品和汽車都有各種法規，以確保產品安全並按預期工作。在機器學習中，我們沒有這些，部分原因是它很新，所以法律法規尚未存在。這有點像狂野西部，而這正是我們試圖透過模型卡改變的。

您在Hugging Face從事什麼工作？

致力於為工程師設計的幾種不同工具。
致力於哲學和社會科學研究：剛剛深入研究了《世界人權宣言》（UDHR）以及如何將其應用於人工智慧。試圖幫助彌合人工智慧、機器學習、法律和哲學之間的鴻溝。
試圖開發一些有助於測試系統和理解資料集的統計方法。
我們最近還釋出了一款工具，可以顯示一種語言與齊夫分佈（自然語言的趨勢）的匹配程度，這樣您就可以測試您的模型與自然語言的匹配程度。
在文化方面做了大量工作：投入大量時間在招聘和我們應該採取哪些流程才能更具包容性。
致力於大科學專案：一項與來自世界各地（不僅僅是Hugging Face）的人員合作的巨大努力，致力於資料治理（如何使用和審查大資料而不在世界各地擴散/跟蹤其使用方式）。
偶爾我會接受採訪或與參議員交談，所以工作內容非常廣泛。
有時會嘗試回覆郵件。

注：Hugging Face的每個人都身兼數職。 :)

梅格對AI的影響

梅格被收錄在《天才創客：將AI帶到谷歌、Facebook和世界的人們》一書中。她在谷歌工作時，凱德·梅茨採訪了她。

梅格的開創性研究、系統和工作在人工智慧歷史上發揮了關鍵作用。（我們非常幸運能在Hugging Face擁有她！）

快速問答：

給想進入AI領域的人的最佳建議是什麼？

梅格：這取決於這個人是誰。如果他們具有被邊緣化的特徵，我會有非常不同的建議。例如，如果是一個女人，我會說，‘不要聽你的主管說你不擅長這個。很可能你只是在用與他們習慣不同的方式思考問題，所以要對自己有信心。’

如果是具有多數特徵的人，我會說，‘忘掉人才管道問題，關注你周圍的人，確保你支援他們，這樣你現在所處的管道問題就會減少。’

另外，‘評估你的系統’。

您最期待機器學習（或機器學習倫理）應用於哪些行業？

梅格：健康和輔助領域仍然是我非常關心並看到巨大潛力的領域。

還希望看到有助於人們理解自身偏見的系統。目前正在開發許多技術來篩選面試候選人，但我認為這些技術應該真正關注面試官以及他們可能帶著不同偏見來面對這種情況。我希望有更多的技術能夠幫助人類變得更具包容性，而不是幫助人類排除他人。

您在主題演講和採訪中經常引用有偏見的模型的驚人例子。我特別喜歡的一個是您談到的犯罪檢測模型，它透過嘴角的模式來識別罪犯（您很快就揭穿了這一點）。

梅格：是的，[這個例子是]他們聲稱存在一個角度theta，當它是一個較小的角度時，更能指示罪犯。然而，我查看了數學，我意識到他們談論的是微笑！微笑會有一個更寬的角度，而嚴肅的表情會有一個較小的角度。他們完全弄錯了他們實際捕捉到的東西。實驗者的偏見：想要找到不存在的東西。

人們應該害怕AI接管世界嗎？

梅格：人工智慧有很多值得害怕的地方。我傾向於將其視為我們對不同結果分佈的把握，有些結果比其他結果更積極，所以沒有一個固定的結果是我們能確定的。人工智慧在很多方面都能提供巨大幫助，而且更多地是基於任務，而非更普遍的智慧。你可以看到它走向另一個方向，類似於我之前提到的，一個模型認為破壞性事物是美麗的，這離一個能夠按下按鈕發射導彈的系統只差一步。我認為人們不應該害怕，但他們應該考慮最佳和最壞的情況，並嘗試減輕或阻止最壞的結果。

我認為目前最大的問題是這些系統可能會加劇貧富差距。進一步賦予有權勢的人權力，並進一步惡化無權勢的人的境況。設計這些系統的人往往是擁有更多權力和財富的人，他們為自己的利益設計事物。我認為這種情況正在發生，並且是未來需要思考的問題。

希望我們能夠專注於最有益的事情，並繼續朝著那個方向前進。

最喜歡的機器學習論文？

梅格：最近我真的很喜歡阿貝巴·比爾漢在機器學習中編碼的價值觀方面所做的工作。我在谷歌的團隊一直在研究資料譜系，對機器學習資料處理方式進行了批判性分析，他們就此發表了幾篇論文——例如，《資料及其（不）內容：機器學習研究中資料集開發和使用調查》。我真的很喜歡這項工作，可能有些偏心，因為它包括了我的團隊和直接下屬，我為他們感到非常自豪，但它確實是基礎性的優秀工作。

我感興趣的早期論文更多地反映了我當時正在做的事情。我真的很喜歡赫伯特·克拉克的工作，他是一位心理語言學/傳播學專家，他做了很多很容易轉化為計算模型的人類交流研究。我非常喜歡他的工作，並在我的論文中多次引用他。