機器學習專家——薩莎·盧奇奧尼

🤗 歡迎收聽《機器學習專家》——薩莎·盧奇奧尼

🚀 如果您有興趣瞭解像 Sasha 這樣的機器學習專家如何幫助加速您的機器學習路線圖，請訪問：hf.co/support.

大家好！歡迎收聽《機器學習專家》。我是主持人 Britney Muller，今天的嘉賓是Sasha Luccioni。Sasha 是 Hugging Face 的研究科學家，她主要研究機器學習模型和資料集的倫理和社會影響。

Sasha 還是 Big Science Workshop 碳足跡工作組的聯合主席，WiML 董事會成員，以及 Climate Change AI (CCAI) 組織的創始成員，該組織致力於推動將機器學習應用於氣候危機的有影響力工作。

您將聽到 Sasha 講述她如何測量電子郵件的碳足跡，她如何幫助當地的施粥所利用機器學習的力量，以及意義和創造力如何激勵她的工作。

非常高興向您介紹這精彩的一集！以下是我與 Sasha Luccioni 的對話

注意：為提供最佳閱讀體驗，文字稿已稍作修改/重新排版。

非常感謝您今天加入我們，我們很高興能邀請到您！

薩莎： 我很高興能來到這裡。

直奔主題，您能談談您的背景以及是什麼讓您加入了 Hugging Face 嗎？

薩莎： 好的，如果追溯到最初，我開始學習語言學。我對語言非常感興趣，我的父母都是數學家。但我想，我不想學數學，我想學語言。我在本科期間開始接觸 NLP（自然語言處理），並對此非常著迷。

我的博士學位是計算機科學，但我保留了語言學視角。我最初在人文學科，後來進入計算機科學。博士畢業後，我在應用人工智慧研究領域工作了幾年。我上一份工作在金融領域，後來有一天我決定想做一些有益於社會、積極向上的人工智慧研究，於是我辭職了。我決定，為了人工智慧而人工智慧的工作，再多的錢也不值得，我想要做更多。所以我在 Yoshua Bengio 的指導下工作了幾年，同時從事人工智慧為善專案和氣候變化人工智慧專案，然後我開始尋找我的下一個職位。

我希望能在一個我信任的、正在做正確的事情、朝著正確方向前進的地方。當我遇到 Thom 和 Clem 時，我知道 Hugging Face 就是我的歸宿，它會完全符合我的期望。

很高興您想要做一些有意義的事情！

薩莎： 是的，當我在週日晚上聽到有人說“明天是週一…”時，我就會想“明天是週一！太棒了！”這並不是說我是一個工作狂，我當然會做其他事情，也有家庭等等，但我真的很高興去上班做一些非常酷的事情。我認為這很重要。我知道人們可以沒有它，但我不能。

您現在正在進行的工作中最讓您興奮的是什麼？

薩莎： 我認為 Big Science 專案絕對非常鼓舞人心。在過去的幾年裡，我一直在關注這些大型語言模型，我總是在想，它們是如何工作的？程式碼在哪裡，資料在哪裡，裡面發生了什麼？它們是如何開發的，誰參與其中？這一切都像一個黑箱，我很高興我們終於讓它變成了玻璃箱。有這麼多人參與，有這麼多非常有趣的觀點。

我正在主持碳足跡工作組，所以我們正在研究環境影響的不同方面，不僅僅是計算二氧化碳排放，還包括製造成本等其他方面。有時我們甚至會考慮一封電子郵件會產生多少二氧化碳，諸如此類，所以我們肯定會從不同的角度思考。

還有關於資料，我參與了 Big Science 的許多資料工作組，這真的很有趣，因為通常情況下，我們會盡可能多地獲取資料，將其塞進語言模型中，然後它就會變得很棒。它會學習所有這些東西，但實際上裡面有什麼，網際網路上有很多奇怪的東西，以及你可能不希望你的模型看到的東西。所以我們正在認真研究用心、資料策展，以及多語種，以確保它不僅僅是百分之百的英語或百分之九十九的英語。所以這是一個很棒的倡議，我很高興能參與其中。

喜歡評估電子郵件碳足跡的想法！

薩莎： 是的，人們確實這樣做了，取決於是否帶附件，但這只是因為我們發現了一篇文章，我想那是一個理論物理專案，他們做了這些。他們統計了視訊通話、通勤、電子郵件以及實際實驗的碳足跡。他們做了一個餅圖，很酷，因為餅圖中有 37 個類別，我們真的很想這樣做。但我不知道我們是否想深入到那個細節程度，但我們打算做一份調查，詢問參與者平均花了多少小時在 Big Science 或訓練語言模型等方面。所以我們不僅想要訓練模型的 GPU 小時數，還想要人們在專案中的參與程度。

您能多談談人工智慧對環境的影響嗎？

薩莎： 是的，我三年前才開始涉足這個話題。第一篇相關的文章是由Emma Strubell 和她的同事發表的，他們透過超引數調優訓練了一個大型語言模型。也就是說，他們研究了所有不同的配置，然後得出的資料是，那個 AI 模型排放的碳量相當於五輛汽車在其整個生命週期中排放的碳量。這包括汽油和所有東西，就像平均的消耗量一樣。我和我的同事們當時覺得，這聽起來不對勁，不可能所有的模型都這樣吧？所以我們深入研究，找出什麼對排放有影響，以及如何測量排放。

所以我們首先建立了這個線上計算器，人們可以輸入他們使用的硬體、訓練時間、地點或雲計算例項。然後它會給他們一個涉及的碳排放量估算。這基本上是我們的第一次嘗試，一個計算器，然後我們幫助建立了一個名為 Code Carbon 的軟體包，它實際上可以即時完成這項工作。所以它會與您正在訓練模型所做的一切並行執行，然後在最後吐出碳排放量的估算值。

最近我們一直在不斷深入。我剛剛有一篇與人合著的文章被接受了，內容是如何主動減少排放。例如，透過預測伺服器不那麼繁忙的時間，進行時間延遲或者選擇正確的區域，因為如果您在澳大利亞訓練，它會是基於煤炭的電網，所以汙染會很高。而在魁北克或我所在的蒙特利爾，它是百分之百的水力發電。所以僅僅透過做出這個選擇，您就可以將排放量減少大約一百倍。所以就是這樣的小事情，除了估算之外，我們還希望人們開始減少排放。這是下一步。

我從未想過，您進行計算的地理位置會產生不同的排放成本。

薩莎： 哦，是的，我現在對能源電網非常感興趣。每次我去某個地方，我都會想，能源是從哪裡來的？你們是如何發電的？所以這真的很有趣，有很多歷史因素和文化因素。

例如，法國主要使用核能，加拿大有大量水力發電。有些地方有大量的風能或潮汐能，所以瞭解當你開啟一盞燈時，電力從何而來以及對環境的代價是什麼，這真的很有趣。因為我小時候，我總是關燈，拔掉插頭之類的，但僅此而已。這只是一些好的習慣。當你不在房間時關燈，但除此之外，你可以更深入地思考，根據你居住的地方，你的能源來自不同的來源。汙染程度也不同，但我們只是看不到，我們看不到能源是如何生產的，我們只看到光，然後我們就會說，哦，這是我的燈。所以開始思考這個問題真的很重要。

很容易不考慮這些事情，這對於可能沒有這種普遍意識的機器學習工程師來說，可能是一個障礙。

薩莎： 是的，沒錯。我的意思是，通常這只是習慣使然，對吧？我認為當您使用雲實例時，通常會有一個預設選項，比如離您最近的那個，或者擁有最多 GPU 的那個，或者隨便什麼。有一個預設選項，人們就會說，好吧，隨便，然後點選預設。這就是助推理論的方面。

我在認知科學領域獲得了碩士學位，僅僅透過改變預設選項，就可以極大地改變人們的行為。無論是把蘋果還是巧克力棒放在收銀臺旁邊，或者諸如此類的小事。因此，如果預設選項突然變成了低碳選項，我們就能節省大量的排放，僅僅因為人們會說，好吧，我會在蒙特利爾訓練一個模型，我不在乎。這並不重要，只要你能獲得所需的硬體，你就不在乎它在哪裡。但從長遠來看，它確實會累積起來。

機器學習團隊和工程師可以在哪些方面更積極主動一些？

薩莎： 我注意到很多人真的很有環保意識。比如他們會騎腳踏車上班，或者少吃肉等等。他們會有這種環保意識，但會把它和自己的工作分開，因為我們沒有意識到作為機器學習研究人員或工程師，我們對環境的影響。而且不一定需要分享，只需開始測量，例如碳排放。並開始關注您選擇的例項，如果您有選擇的話。例如，我知道 Google Cloud 和 AWS 已經開始將低碳作為一個小標籤，這樣您就可以選擇它，因為資訊就在那裡。並開始邁出這些小步，將環境和技術聯絡起來。這些點通常沒有被連線起來，因為技術就像雲一樣，它很好地分佈著，您看不到它。透過更深入地瞭解它，您就能看到它對環境的影響。

那是個很好的觀點。我聽過您的一些演講和播客，您在其中提到過機器學習如何幫助抵消模型對環境的影響。

薩莎： 是的，我們幾年前寫了一篇論文，那是一次很酷的經歷。它差不多有一百頁，叫做《用機器學習應對氣候變化》。它有大約 25 位作者，但有各種不同的章節，從電力到城市規劃，再到交通、林業和農業。我們基本上在論文中用這些章節討論了存在的問題。例如，可再生能源在很多情況下是可變的。所以如果你有太陽能電池板，它們在晚上就不會發電。這是一個既定事實。風力發電則依賴於風。所以實施可再生能源的一個巨大挑戰是，你必須響應需求。即使你使用太陽能，你也需要在晚上為人們供電。通常情況下，你要麼有柴油發電機，要麼有這個備用系統，它往往會抵消你節省的排放的環境效益，但機器學習可以做的是，你基本上是在預測需要多少能量。所以根據前幾天的天氣，根據溫度，根據發生的事件，你可以開始預測半小時後、一小時後、6 小時後或 24 小時後。你可以有不同的預測範圍，並進行時間序列預測。

然後，與其啟動一臺柴油發電機，因為它可以直接啟動，幾秒鐘就能執行起來，你還可以使用電池，但是電池需要提前充電。所以如果你有六個小時的準備時間，你就可以開始給電池充電，知道要麼有云層來臨，要麼夜幕降臨，所以你需要提前儲存能量。因此，你可以做一些主動的事情，這會帶來巨大的改變。而機器學習擅長預測未來，擅長找到正確的特徵等等。所以這是其中一個典型的例子。另一個是遙感。我們有很多關於地球的衛星資料，可以發現森林砍伐或追蹤野火。在很多情況下，你可以根據衛星影像自動檢測野火，並立即部署人員。因為它們通常位於你沒有居民居住的偏遠地區。所以有很多不同的情況，機器學習可以發揮巨大的作用。我們有資料，我們有需求，所以這篇論文就是關於如何參與進來，無論你擅長什麼，喜歡做什麼，以及如何應用機器學習並將其用於應對氣候變化。

對於那些對此感興趣，但其所在組織並未將其列為優先事項的聽眾，您有什麼建議可以幫助激勵團隊優先考慮環境影響？

薩莎： 所以這始終是成本與收益或時間的問題，你知道，你投入的時間。有時人們只是不知道存在不同的工具或方法。所以如果人們對此感興趣，甚至只是好奇想了解一下。我認為這是第一個步驟，因為即使我剛開始思考我能做什麼時，我也不知道這些東西都存在。人們使用不同的資料科學技術研究這個問題已經相當長一段時間了。

例如，我們建立了一個名為 climatechange.ai 的網站，我們有互動式摘要，您可以閱讀關於氣候變化如何幫助檢測甲烷等方面的資訊。我認為僅僅傳播這些知識就可以引發一些有趣的思考過程或討論。我參加過幾家公司舉辦的圓桌會議，這些公司並非傳統意義上的氣候變化導向型公司，但它們已經開始思考這個問題。他們說，好吧，我們在廚房裡放了一個堆肥箱，我們做了這個，我們做了那個。那麼從技術角度來看，我們能做什麼呢？這真的很有趣，因為有很多容易實現的目標，您只需要瞭解它們。然後就會發現，哦，我可以這樣做，我預設可以使用這個雲計算例項，這不會花費我任何東西。您只需要在某個地方更改一個引數。

您認為機器學習工程師或團隊在實施這些改進時常犯的一些錯誤是什麼？

薩莎： 實際上，機器學習領域的人或 AI 領域的人，通常都會被其他社群貼上這樣的標籤：我們認為 AI 將解決一切問題。我們剛進來的時候就會說，哦，我們要搞 AI。它會解決你們所有的問題，無論你們 50 年來一直在做什麼，AI 都能做到。我沒有看到太多這種態度，但我們知道 AI 能做什麼，我們知道機器學習能做什麼，我們有某種世界觀。就像你手上有錘子，看什麼都像釘子一樣。我參加過幾次駭客馬拉松，總的來說，人們都想做些東西或做些事情來應對氣候變化。通常會覺得，哦，這聽起來像 AI 可以做的很棒的事情，我們會去做，而不去考慮它將如何被使用，或者它將如何有用，或者它將如何。因為，是的，AI 確實可以做所有這些事情，但最終總會有人使用它。

例如，如果您建立了用於掃描衛星影像和檢測野火的東西，那麼您的模型輸出的資訊必須是可解釋的。或者您需要新增額外的步驟，傳送新的電子郵件或任何其他東西。否則，我們訓練了一個模型，它很棒，精度非常高，但最終沒有人會使用它，僅僅因為它與現實世界或人們使用它的方式之間缺少一個微小的連線。這並不吸引人，人們會說，是的，隨便，我甚至不知道如何編寫傳送電子郵件的指令碼。我也不知道。但是，僅僅做那一點點額外的工作，它在技術上比你到目前為止所做的工作要簡單得多。僅僅新增那一點點東西就會帶來巨大的不同，它可以是使用者介面方面的，也可以是建立應用程式方面的。就像機器學習部分對於您的專案被使用來說至關重要。

我曾參與組織過一些研討會，人們提交的創意在紙面上非常棒，精度很高，但它們只停留在論文或文章的形式，因為你仍然需要下一步。我記得有一次演講，一個機器學習演算法可以透過計算風速等來減少飛機排放 3% 到 7%。當然，那個人應該創辦一家初創公司，或者開發一款產品，或者把它推銷給波音公司或其他什麼，否則它就只是他們在我組織的這個研討會上發表的一篇論文，然後就沒了。科學家或工程師不一定具備將這些東西展示給飛機制造商所需的技能，但這令人沮喪。最終，看到這些偉大的想法，這些偉大的技術就這樣銷聲匿跡了。

太可惜了。但這確實是一個很棒的故事，而且其中充滿了這樣的機會。

薩莎： 是的，而且我認為科學家們，通常並不一定想賺錢，他們通常只是想解決問題。所以你甚至不一定需要創辦一家公司，你可以和某人交談，或者向某人推銷這個想法，但你必須走出舒適區。你需要參加航空業的社交活動，而不是你常去的學術會議，那會很可怕，對吧？所以我發現學科之間常常存在這些障礙，這讓我感到非常難過。我實際上喜歡參加商業或隨機行業的社交活動，因為在那裡可以建立起能夠帶來最大變化的聯絡。這不像行業特定的會議，因為每個人都在談論相同的技術風格，當然，他們正在取得進步和創新。但是如果你是滿屋子航空專家中唯一的機器學習專家，你可以做的事情就太多了。你可以點燃所有這些小火花，之後你就會看到人們減少航班排放。

這很有力量。想知道您是否能再多說一些，為什麼在工作中找到意義如此重要？

薩莎： 是的，我媽媽很久以前在某個雜誌上讀到過一個概念，我小時候她就提過。它叫做Ikigai，這是一個日本概念，它就像如何找到生命的理由或意義。有點像如何在宇宙中找到你的位置。它說你需要找到包含這四個元素的某種東西。比如你喜歡做什麼，你擅長什麼，世界需要什麼，然後什麼能成為一種職業。我總是覺得這就是我的職業，但她總是說不，因為即使你喜歡做這件事，但你卻無法以此為生，那生活也會很艱難。所以她在我選擇大學課程甚至學位時，總是問我這個問題，她總是會說，好吧，這和你的愛好和擅長的事情一致嗎？有些事情她會說，是的，但你並不擅長那個。我的意思是，你可能真的很想做這個，但這可能不是你擅長的。

所以，我認為這始終是我職業生涯的驅動因素。我感覺它有助於讓你覺得自己有用，是世界上的積極力量。例如，當我在摩根士丹利工作時，我感到有一些有趣的問題，我做得非常好，毋庸置疑，薪水也很豐厚。在那方面沒有什麼可抱怨的，但缺少了“世界需要什麼”這個方面，這就像我無法滿足的渴望。但是有了這種框架，這種癢癢的感覺，我才意識到，哦，這就是我生活中缺失的東西。所以我想，普遍而言，不僅僅是機器學習領域的人，思考一下你不僅擅長什麼，還喜歡做什麼，什麼激勵你，為什麼你早上會起床，當然還有世界需要什麼這方面，這很重要。它不必是解決世界飢餓問題，它可以是規模小得多或概念性得多。

例如，我覺得我們在 Hugging Face 所做的事情，正是機器學習需要更多開原始碼，更多模型共享，但這並不是因為它能解決某個特定的問題，而是因為它能為一系列問題做出貢獻。從可復現性到相容性再到產品，但世界在某種程度上需要這個。所以，我認為這確實幫助我集中精力於 Hugging Face，而不是說世界一定需要更好的社交網路，因為很多人在社交媒體或大型科技公司背景下做 AI 研究。也許世界不一定需要那個，也許現在不需要，也許世界需要的是不同的東西。所以這種四部分框架確實幫助我在我的職業生涯和生活中找到了意義，努力尋找所有這四個元素。

您還在人工智慧機器學習中發現並看到了哪些其他例子或應用中的潛在意義？

薩莎： 我認為一個經常被忽視的方面是可訪問性和普及化，即讓 AI 對非專業人士來說更容易。因為你能想象嗎，如果記者、醫生或任何你能想到的職業，都能輕鬆訓練或使用 AI 模型。因為我覺得，是的，我們確實在醫學和醫療保健領域使用 AI，但那是非常從 AI 機器學習的角度出發的。但是如果我們有更多的醫生被授權建立更多工具，或者任何職業，比如麵包師……我有一個朋友在蒙特利爾開了一家麵包店，他問我，是的，AI 能幫助我做出更好的麵包嗎？我說，很可能，是的。我敢肯定，如果你做一些實驗，他說，哦，我可以在我的烤箱裡安裝一個攝像頭。我說，哦，是的，我想你可以那樣做。我的意思是，我們當時在討論，你知道，麵包其實很嬌貴，你需要合適的溼度，而且它確實需要大量的實驗和麵包師的大量專業知識。羊角麵包也是如此，他的羊角麵包非常好吃，他說，是的，你需要真正瞭解合適的黃油等等。他說他想做一個 AI 模型來幫助烘焙麵包。我說我甚至不知道該怎麼幫助你開始，比如從哪裡開始？

因此，可訪問性是如此重要的一部分。例如，如今網際網路已經變得如此便捷。任何人都可以瀏覽，而最初則遠非如此，我認為人工智慧仍有很長的路要走，才能成為一個更易於訪問和民主化的工具。

您之前談論過資料的力量，以及它如何被談論得不夠多。

薩莎： 是的，四五年前，我和我丈夫去哥斯大黎加旅行。我們只是在地圖上找地方，然後我發現了一個在世界盡頭的研究中心。它就像是在荒無人煙的地方。我們不得不開著車沿著一條土路，然後先坐第一艘船，再坐第二艘船才能到達那裡。他們在叢林深處，專門研究叢林，他們有遍佈叢林的自動觸發的攝像機陷阱。然後每隔幾天，他們就得徒步從一臺攝像機走到另一臺攝像機，更換 SD 卡。然後他們把這些 SD 卡帶回站裡，用一臺筆記型電腦檢視每張照片。當然，有很多誤報，因為風或其他原因，比如動物移動得很快，所以真正有用的影像可能只有 5%。我就想，他們為什麼不用它來追蹤生物多樣性呢？他們說，不，我們看到了美洲虎在某某地點，因為他們那裡有很多。>

然後他們會嘗試追蹤美洲虎或其他動物是否被殺，是否有幼崽，或者看起來是否受傷；所有這些不同的事情。然後我就想，我敢肯定其中一部分可以自動化，至少是過濾掉那些基本無用的影像，但他們有研究生或其他人在做。但即便如此，所有領域都有很多這樣的例子。只要有這些小工具，我並不是說我們已經完全取代了科學家在處理這類任務，但只是那些煩人且耗時的小元件，機器學習可以幫助彌補這個差距。

哇。這太有趣了！

薩莎： 實際上，相機陷阱資料是追蹤生物多樣性非常重要的一部分。它用於鳥類和其他動物。在很多情況下都使用它，而且實際上，過去幾年圍繞相機陷阱資料一直有 Kaggle 競賽。基本上在這一年裡，他們在肯亞和坦尚尼亞等不同地方設定了大量的相機陷阱。然後到年底，他們會舉辦一場大型的 Kaggle 競賽，識別不同種類的動物。之後他們部署模型，每年更新一次。

所以它正在發展，但資料量確實很大，正如你所說。每個生態系統都是獨特的，所以你需要一個專門針對該生態系統訓練的模型。你不能拿肯亞的模型在哥斯大黎加使用，那行不通。你需要資料，你需要專家來訓練模型，所以有很多元素需要匯聚在一起才能做到這一點。有點像 Hugging Face 的 AutoTrain，但更簡單，哥斯大黎加的生物多樣性研究人員可以把他們的影像拖放到一個網頁介面中，然後模型就會告訴他們哪些影像質量好，以及裡面有哪些動物型別。然後他們就可以得到這樣的資訊：這裡有 12 張美洲豹的影像，這張受傷了，這張有幼崽等等。

對於那些試圖用機器學習解決此類問題，但卻缺乏必要資料的團隊，您有什麼見解？

薩莎： 是的，我猜還有另一個趣聞，我有很多這樣的趣聞，但在某個時候，我們想在蒙特利爾組織一個人工智慧為社會公益的駭客馬拉松，大約三四年前。然後我們聯絡了蒙特利爾的各種非政府組織，比如施粥所、無家可歸者收容所。我們開始去這些地方，然後我們問：你們的資料在哪裡？他們說：“什麼資料？”我說：“你們難道不記錄有多少人住在你們的無家可歸者收容所，或者他們是否回來？”他們說：“沒有。”然後他們又說：“但另一方面，我們有這樣的問題，要麼是人們失蹤了，我們不知道他們在哪裡，要麼是人們長期居住。到了一定時候，我們就不應該讓他們繼續住下去。”他們有很多問題，例如在施粥所，他們有很多食物浪費，因為他們很難預測會有多少人來。有時他們會說，是的，我們注意到在十月，通常人會少一些，但我們沒有任何資料來支援這一點。

所以我們完全取消了駭客馬拉松，然後我們做了，我想我們稱之為資料素養或數字素養工作坊。所以基本上我們去了這些感興趣的地方，我們提供了一兩個小時的工作坊，教他們如何使用電子表格並弄清楚他們想要追蹤什麼。因為有時他們甚至不知道他們想儲存什麼，或者想真正留下什麼痕跡。所以我們在一些地方做了幾次，比如我們會每隔幾個月回來一次，看看情況。然後一年後，我們有了一些成果，特別是施粥所，我們實際上成功地在他們之間建立了聯絡，我不記得公司名稱了，但他們基本上做的是供應鏈管理軟體。所以廚房實際上能夠實施一個系統，他們會追蹤我們收到了 10 磅西紅柿，今天來了多少人，以及我們有多少食物浪費。然後一年後，我們能夠舉辦一次駭客馬拉松，幫助他們減少食物浪費。

所以這真的很酷，因為我們真切地看到了，一年前他們沒有任何記錄，只有直覺，雖然有用，但不夠正式。一年後，我們得以獲取資料並將其整合到他們的應用程式中，然後他們會收到提醒，比如“小心，你的西紅柿快壞了，因為你已經放了三天了。”或者如果是義大利麵，那可能是六個月或一年，所以我們實施了一個系統，會實際向他們發出警報。就技術而言，它非常簡單，甚至沒有太多人工智慧，只是一個能幫助他們跟蹤不同食物類別的東西。所以這是一個非常有趣的經歷，因為我意識到，是的，你可以過來並說我們要幫你做任何事情，但如果你沒有足夠的資料，你能做什麼呢？

沒錯，這太有趣了。您能夠介入並提供第一步，即那個難題的教育部分，幫助他們著手進行這樣的事情，真是太棒了。

薩莎： 是的，我有一段時間沒組織任何駭客馬拉松了。但我認為這些社群參與活動非常重要，因為它們能幫助人們學習，比如我們認識到你不能直接闖入並使用 AI，數字素養要重要得多，而且他們以前從來沒有真正努力收集資料，即使他們需要它。或者他們不知道能做什麼等等。所以退一步，幫助提高技術技能，通常來說，是一個非常有用的貢獻，而人們可能沒有意識到這是一個選擇。

您最希望看到機器學習應用於哪些行業？

薩莎： 氣候變化！是的，環境是我的頭等大事。教育一直是我非常感興趣的領域，而且我一直都在等待。我讀博士期間研究的是教育和人工智慧，比如人工智慧如何在教育中發揮作用。我一直在等待它最終達到某個頂峰，但我想有很多上下文因素等等，但我認為人工智慧、機器學習和教育可以用在很多不同的方式上。

例如，我讀博士期間研究的是如何幫助選擇最適合學習者的活動，比如學習活動和練習。而不是給所有孩子或成人同樣的練習，而是幫助他們專注於他們的薄弱知識點、薄弱技能，並專注於這些。所以不是一種一刀切的方法。而且不是取代老師，而是更多地輔導，比如好吧，你在學校學習了一個概念，幫助你掌握它。有的人很快就能掌握，他們不需要這些練習，但有的人可能需要更多時間練習。我認為有很多事情可以做，但我仍然沒有看到它真正被使用，但我認為它可能非常具有影響力。

好的，我們現在進入快問快答環節。如果時光倒流，在您的機器學習職業生涯開始時，您會做一件不同的事情，那會是什麼？

薩莎： 我會花更多時間專注於數學。正如我所說，我的父母都是數學家，他們總是給我額外的數學練習。他們總是說數學是普適的，數學，數學，數學。所以當你從小被強迫接受一些事情時，你以後不一定會欣賞它們，所以我當時說不，我要學語言。所以在大學學習的大部分時間裡，我都在說不學數學，只學人文學科。所以我覺得如果我從一開始就更開放一點，意識到數學的潛力，即使在語言學或很多事情上，我想我能更快地達到現在的水平，而不是花三年時間說不學數學，不學數學。

我記得在高三，高中最後一年，我父母讓我報名參加數學競賽，就像奧林匹克競賽，我贏了。然後我記得我得到了一枚獎牌，我把它戴在我媽媽身上，我說：“現在別再煩我了，我這輩子再也不學數學了。”她笑著說：“好好好。”然後在那之後，當我選擇博士專案時，她又說：“哦，我看到有數學課，是吧？因為你在做機器學習，是吧？”我說：“不。”但是，是的，我應該更快地克服對數學最初的厭惡。

這太有趣了，聽到這個很有意思，因為我經常聽到人們說，隨著這些機器學習庫和程式的進步，你需要的數學知識會越來越少。

薩莎： 確實如此，但我認為有一個好的基礎，我並不是說你必須是一個超級天才，而是要有這種直覺。比如我以前和 Yoshua 合作的時候，他就是一個十足的數學天才，他能非常輕鬆地解釋結果或者理解機器學習模型的行為，僅僅因為數學對他來說是第二天性。而我則需要像這樣，好吧，我將寫出這個包含損失函式的方程。我將嘗試理解其中的後果等等，這有點不那麼自動化，但它是一種可以培養的技能。它不一定是理論性的，也可以是實驗性知識。但擁有堅實的數學背景可以幫助你更快地達到目標，你可以跳過幾個步驟。

那太棒了。你可以向你父母尋求幫助嗎？

Sasha: 不，我拒絕向我父母尋求幫助，絕不。而且因為他們是理論數學家，他們認為機器學習只適合那些不擅長數學、懶惰或諸如此類的人。所以，根據你所處的領域，有純數學家、理論數學家、應用數學家，還有統計學家，他們分屬不同的陣營。

我記得我弟弟也曾考慮過學習機器學習，我爸爸就說不，留在理論數學領域，那是所有天才的歸屬。他說：“不，機器學習是數學走向消亡的地方。”我當時心想：“爸爸，我可就在這裡！”他說：“嗯，我寧願你弟弟選擇更精深的領域。”我說：“那不公平。”

所以是的，機器學習中有很多經驗性的方面，有很多試錯，比如你在調整超引數，但你並不真正知道為什麼。所以我認為，除非有公式，否則形式數學家們不認為機器學習是真實的或合法的。

那麼，除了數學基礎之外，你還會給想要進入機器學習領域的人什麼建議呢？

Sasha: 我認為動手實踐，從 Jupyter Notebooks 或程式設計練習開始，諸如此類。特別是如果你有特定的角度或問題想深入研究，或者只是一般的想法，那麼就開始嘗試。我記得我在博士初期參加了一個機器學習暑期學校。當時真的很有趣，但所有的例子都非常脫節。我不記得資料是什麼了，比如貓和狗，我不知道，但是我要用它來做什麼呢？然後他們說練習的一部分是找到你想要使用的東西，就像一個分類器來做。

然後我記得我拍了一些花卉的照片之類的，我對此非常投入。我當時想，是的，你看，它把這種花和那種花弄混了，因為它們有點相似。我明白我需要更多影像，我對此非常投入，這時我才恍然大悟，它不僅僅是這種超級抽象的分類。或者說，哦，是的，我記得我們正在使用一個叫做 MNIST 的資料應用程式，它非常受歡迎，因為它是一些手寫數字，而且它們非常小，網路執行速度很快。所以人們在機器學習課程的開始階段經常使用它。我當時心想，誰在乎呢，我不想分類數字，隨便吧，對嗎？然後當他們讓我們自己選擇圖片時，突然間它變得更加個性化、有趣和引人入勝。所以我想，如果人們陷入困境，他們真的可以專注於自己感興趣的事情。例如，獲取一些氣候變化資料，然後開始玩弄它，這真的會讓過程變得更愉快。

我喜歡這個，尋找你感興趣的東西。

Sasha: 沒錯。我最喜歡的一個專案是蝴蝶分類。我們訓練神經網路，根據人們拍攝的照片來分類蝴蝶，這太有趣了。你學到了很多，而且你還在解決一個你知道它將如何被使用的問題，所以這是一個非常棒的參與體驗。我希望每個人都能在他們所做的工作中找到這種興趣，因為你真的會覺得自己正在做出改變，這很酷，很有趣，也很吸引人，你會想做更多。例如，這個專案是與蒙特利爾昆蟲館合作完成的，蒙特利爾昆蟲館是一個昆蟲博物館。我與很多人保持聯絡，他們最近翻新了昆蟲館，經過三年多的翻新，這個週末他們就要重新開放了。

他們還邀請我和我的家人去參加開幕式，我非常興奮。你真的可以觸控昆蟲，他們會有竹節蟲，他們會有一個巨大的溫室，裡面到處都是蝴蝶。在那個溫室裡，我的意思是，你必須安裝應用程式，但你可以給蝴蝶拍照，然後它會使用我們的AI網路來識別它們。我非常興奮能去那裡使用這個應用程式，看到我的孩子們使用它，看到這一切。因為以前的版本，他們會給你一本小冊子，裡面有蝴蝶的圖片，你必須去尋找它們。我迫不及待地想看看那種靜態的呈現方式和這個你可以用來給蝴蝶拍照的實際應用程式之間的區別。

天哪！看到你創造的東西被這樣使用真是太酷了。

Sasha: 沒錯。即使它不能對抗氣候變化，我認為它也能在幫助人們欣賞自然和生物多樣性方面發揮巨大作用，將抽象的二維事物轉化為你可以真正參與並拍攝的東西。我認為這在我們的感知和聯絡方面產生了巨大的影響。例如，它幫助你建立自己與自然之間的聯絡。

那麼人們應該害怕人工智慧掌控世界嗎？

Sasha: 我認為我們離那還很遠。我猜這取決於你說的“掌控世界”是什麼意思，但我認為我們現在應該更多地關注正在發生的事情。而不是展望未來，想著什麼終結者之類的，而是要意識到人工智慧是如何在我們的手機和生活中被使用的，並對這一點更加清醒。

技術或事件總體而言，我們對它們的影響比我們想象的要大，例如，透過使用 Alexa，我們賦予了代理權，我們不僅為這項技術提供了物質或資金。我們還可以參與其中，例如，如果我正在使用這項技術，我將選擇不讓我的資料用於任何目的。或者我會仔細閱讀說明，弄清楚在這種情況下人工智慧正在做什麼，並更廣泛地參與其中。

所以我認為人們真的把人工智慧看作一個非常遙遠的潛在巨大威脅，但它實際上是一個當前的威脅，只是規模不同。這是一種不同的看法。就像與其思考這種通用人工智慧（AGI）之類的東西，不如開始思考我們生活中人工智慧正在使用的那些小事，然後參與其中。如果你對資料共享、同意、以及以特定方式使用技術做出更謹慎的選擇，那麼 AGI 接管世界的可能性就會更小。例如，如果你發現你所在城市的警察部隊正在使用面部識別技術，你可以對此發聲。在許多地方，這是你作為公民的權利的一部分。所以透過參與其中，你可以透過參與當下對未來產生影響。

你現在對什麼感興趣？任何東西都可以，電影、食譜、播客等等？

Sasha: 所以在疫情期間，或者封鎖之類的，我超級迷上了植物。我買了好多植物，現在正和我的孩子們一起準備一個花園。這是我第一次做這個，我們種下了番茄、辣椒和黃瓜之類的種子。我通常只是在雜貨店買現成的，但這次我想，不，我想教我的孩子們。但我也想了解整個過程。所以我們大約在10天前種下了它們，它們現在開始生長了。我們每天都給它們澆水，我認為這也是瞭解更多關於自然和幫助植物茁壯成長的條件之類的過程的一部分。所以去年夏天我們已經建造了一個不只是一個正方形，我們把它填滿了泥土，但今年我們正努力做得更好。我想有幾個層次之類的，所以我真的很期待學習更多關於自己種植食物的知識。

那太酷了。我覺得那是一種非常接地氣的活動。

Sasha: 是的，這和我做的事情完全相反。不坐在電腦前，而是走到戶外，指甲沾滿泥土，這感覺很棒。我記得我曾經想，誰會喜歡園藝啊，太無聊了，現在我卻超級喜歡園藝。我等不及週末去園藝了。

是的，那太棒了。創造一些你能看到、觸控、感受和聞到的東西是如此有意義，而不是僅僅擺弄畫素。

Sasha: 沒錯，有時候你花一整天和這個有 bug 的程式搏鬥，它就是不工作。你感到非常沮喪，然後你走到外面，心想，但我有櫻桃番茄，一切都好。

你最喜歡的機器學習論文有哪些？

Sasha: 我目前最喜歡的是研究員 Abeba Birhane 的論文，她是一位人工智慧倫理研究員。她的視角完全不同。例如，她寫了一篇剛剛被 FAcct 接受的論文，FAcct 是人工智慧倫理公平會議。這篇論文是關於價值觀的，以及我們進行機器學習研究的方式實際上是由我們所珍視的、我們所看重的事物所驅動的。例如，如果我重視一個高準確度的網路，也就是效能，我可能就不太願意關注效率。因此，例如，我會長時間訓練一個模型，僅僅是因為我希望它非常準確。或者，如果我想要一些新奇的東西，比如這種新奇的價值，我就不會去閱讀文獻，看看人們在過去十年裡都做了些什麼，我就會想，我要重新發明它。

所以她和她的合著者寫了一篇非常有趣的論文，探討了理論上的價值觀，比如一種形而上學的價值觀，以及它們在機器學習中如何實現。我發現這真的很有趣，因為通常我們不會那樣看問題。通常就像是，哦，我們必須建立最先進的技術，我們必須建立準確性，然後做這個那個，然後引用相關工作，但這就像一個複選框，你只需完成它。然後他們更深入地思考我們為什麼要這樣做，以及有哪些其他方法可以做事情。例如，在效率和準確性之間進行權衡，如果你有一個模型準確性略低，但效率更高且訓練速度更快，這可能是一種使人工智慧民主化的好方法，因為人們需要更少的計算資源來訓練模型。所以他們建立了所有這些不同的聯絡，我發現這真的很酷。

哇，我們肯定也會連結那篇論文，這樣人們就可以去看看。是的，非常酷。還有什麼你想分享的嗎？也許是你正在研究的事情，或者你希望人們瞭解的事情？

Sasha: 是的，我在 Big Science 之外正在做的一項工作是關於評估以及我們如何評估模型。有點像 Abeba 在她的論文中談到的，但即使僅僅從純粹的機器學習角度來看，我們如何以不同的方式評估模型並在不同方面進行比較，我想。不僅僅是準確性，還有效率和碳排放等等。所以有一個專案在一個月前啟動，內容是如何以一種不僅僅是效能驅動的方式進行評估，而是本質上考慮到不同方面。我認為這在機器學習中一直是一個被忽視的方面，就像人們通常又一次只是打勾，比如哦，你必須評估這個那個，然後提交論文。還有這些有趣的權衡我們可以做，以及我們沒有測量的事情。

例如，如果你有一個數據集，並且你有一個平均準確度，那麼在資料集的不同子集中，準確度是否相同呢？例如，是否有你可以發現的模式可以幫助你改進模型，同時也使其更公平？我認為典型的例子是影像識別，它在不同的情況下是否表現相同……嗯，著名的 Gender Shades 論文中提到演算法在白人男性上的表現優於非洲裔美國女性，但這可以應用於任何事物。不僅是性別和種族，還可以應用於影像、顏色或物件型別或角度。例如，它對從上方拍攝的影像還是從街道層面拍攝的影像表現良好。分析準確度或效能的方法有很多種，我們還沒有真正研究過，因為這通常更耗時。因此，我們希望開發工具來幫助人們更深入地研究結果，更好地理解他們的模型。

人們在哪裡可以在網上找到你？

Sasha: 我在 Twitter @SashaMTL 上，大概就是這樣。我有一個 網站，但我更新得不夠頻繁，所以 Twitter 應該是最好的。

太棒了。我們也可以連結到那裡。Sasha，非常感謝你今天能來，這次談話非常有啟發性，也很棒。我真的很感謝。

Sasha: 謝謝，布蘭妮。

感謝您收聽機器學習專家訪談！

如果您或您認識的人有興趣直接與像 Sasha 這樣的領先機器學習專家聯絡，他們隨時準備幫助加速您的機器學習專案，請訪問 hf.co/support 瞭解更多資訊。 ❤️