機器學習總監洞見 [第 3 部分:金融版]
如果您有興趣更快地構建機器學習解決方案,請立即訪問 hf.co/support!
👋 歡迎回到我們的“機器學習總監洞見系列”,本期是金融版!如果您錯過了之前的版本,可以在這裡找到:
金融領域的機器學習總監們面臨著獨特的挑戰,他們需要在遺留系統間穿梭、部署可解釋的模型,並維持客戶信任,同時還要應對高度監管的環境 (以及大量的政府監督)。每一個挑戰都需要深厚的行業知識和技術專長才能有效駕馭。以下來自美國合眾銀行、加拿大皇家銀行、穆迪分析以及前彭博人工智慧研究科學家的專家們,將共同揭示機器學習與金融交叉領域的獨特寶藏。
您將聽到一位前希臘全國青少年網球冠軍、一位擁有超過 100 項專利的出版作家,以及一位曾在世界最古老的馬球俱樂部 (加爾各答馬球俱樂部) 定期打腳踏車馬球的球員的分享。他們都轉型成為了金融機器學習專家。
🚀 夥伴們,繫好安全帶,以下是來自金融界機器學習領軍人物的頂尖洞見。
免責宣告:所有觀點均來自個人,不代表任何過去或現在的僱主。
Ioannis Bakagiannis
背景: 充滿熱情的機器學習專家,擁有提供可擴充套件、生產級別和最先進機器學習解決方案的經驗。Ioannis 還是 Bak Up Podcast 的主持人,並致力於透過人工智慧對世界產生影響。
趣聞: Ioannis 曾是希臘全國青少年網球冠軍。🏆
加拿大皇家銀行 (RBC): 世界領先的組織將加拿大皇家銀行資本市場視為資本市場、銀行業和金融領域的創新、可信賴的合作伙伴。
1. 機器學習 (ML) 如何為金融業帶來積極影響?
我們都知道機器學習是所有行業的顛覆性力量,同時不斷創造新的商業機會。許多金融產品因機器學習而產生或改變,例如個性化保險和定向營銷。
顛覆和利潤固然很好,但我最喜歡的金融影響是機器學習引發的關於金融決策信任的討論。
過去,像貸款審批、利率確定、投資組合管理等金融決策都是由具有相關專業知識的人來完成的。本質上,人們信任“其他人”或“專家”的金融決策 (並且常常不加質疑)。
當機器學習試圖自動化這個決策過程時,人們開始問:“我們為什麼要信任一個模型?”。模型看起來像是要取代誠實工作者的厄運黑匣子。但這種爭論引發了關於金融決策中信任和道德的討論,無論涉及的是人還是物。
作為一個行業,我們仍在定義這場對話,但得益於機器學習在金融領域的應用,透明度更高了。
2. 金融領域內,機器學習面臨的最大挑戰是什麼?
我不能代表所有公司,但成熟的金融機構面臨一個持續的鬥爭,就像所有歷史悠久的組織一樣:遺留系統。
金融組織已經存在很長時間了,並且隨著時間的推移不斷發展,但今天它們發現自己某種程度上變成了“科技公司”。這樣的組織需要融入尖端技術,以便與新興的競爭對手抗衡,但同時也要保持使我們的金融世界正常運轉的穩健性。
這種內部鬥爭受到機構風險偏好的影響。金融風險通常隨著你提供的解決方案的規模線性增加,因為我們談論的是錢。但除此之外,系統故障還會引發其他形式的風險,例如監管風險和聲譽風險。這種複合風險,加上將一個龐大、成熟的系統遷移到新技術棧的複雜性,至少在我看來,是採用像機器學習這樣的尖端技術最大的挑戰。
3. 在嘗試將機器學習整合到金融應用中時,您觀察到的常見錯誤是什麼?
機器學習,即使在最近備受關注的情況下,在軟體工程領域仍然是一個相對較新的領域。機器學習應用的部署通常不是一個定義明確的過程。藝術家/工程師可以交付一個機器學習應用,但它周圍的世界仍然不熟悉這個技術過程。在技術世界和非技術世界的交叉點上,我看到了最多的“錯誤”。
很難為正確的業務和機器學習關鍵績效指標 (KPI) 進行最佳化,並定義正確的目標函式或期望的標籤。我見過一些應用因為不期望的預測視窗或因為預測了錯誤的標籤而付之東流。
最糟糕的結果是,這種不一致沒有在開發階段被發現,而是進入了生產環境。
然後,應用程式可能會產生不希望的使用者行為,或者乾脆測量/預測錯誤的東西。不幸的是,我們傾向於為機器學習團隊配備工具和計算資源,但沒有提供堅實的流程和溝通緩衝。在一個定義不明確的流程開始時的錯誤會隨著每一步而增長。
4. 關於機器學習的未來,什麼最讓您興奮?
很難不對機器學習領域湧現出的所有新事物感到興奮。這個領域變化如此之快,令人耳目一新。
目前,我們擅長解決單個問題:計算機視覺、下一個詞預測、資料點生成等,但我們還未能同時解決多個問題。我很高興看到我們如何能夠用目前看起來相互矛盾的數學表示式來模擬這些行為。希望我們能儘快實現!
Debanjan Mahata
背景: Debanjan 是穆迪分析人工智慧團隊的機器學習總監,同時也在印度德里資訊科技學院 (IIIT-Delhi) 擔任客座教授。他是一位活躍的研究者,目前對自然語言處理 (NLP) 中的各種資訊提取問題和領域自適應技術感興趣。他在制定和應用機器學習到各種用例方面有良好的記錄。他積極參與機器學習領域不同頂級會議的程式委員會。
趣聞: Debanjan 小時候曾在世界最古老的馬球俱樂部 (加爾各答馬球俱樂部) 打過腳踏車馬球。
穆迪分析 (Moody's Analytics): 提供金融情報和分析工具,支援我們客戶的增長、效率和風險管理目標。
1. 機器學習 (ML) 如何為金融業帶來積極影響?
機器學習 (ML) 在金融行業以多種方式產生了顯著的積極影響。例如,它幫助打擊金融犯罪和識別欺詐交易。機器學習在“瞭解你的客戶 (KYC)”篩查和“反洗錢 (AML)”等應用中已成為一個關鍵工具。隨著全球金融機構的反洗錢罰款增加、制裁領域不斷變化以及洗錢活動的複雜性加劇,銀行正在增加對 KYC 和 AML 技術的投資,其中許多技術都由機器學習驅動。機器學習正在徹底改變該行業的多個方面,特別是透過自動化各種流程和幫助分析師更高效、更準確地完成工作,從而帶來巨大的效率提升。
機器學習的一個關鍵有用特性是,它可以從大量資料中學習並發現隱藏的模式。隨著對數字化的關注,金融行業產生的數字資料比以往任何時候都多,這使得人類難以理解、處理和做出決策。機器學習正在幫助人類理解資料,從中獲取資訊,並做出明智的決策。在穆迪分析,我們正在使用機器學習幫助我們的客戶更好地管理風險,並滿足業務和行業需求。
2. 金融領域內,機器學習面臨的最大挑戰是什麼?
在不影響真正例的情況下減少假正例 —— 在監管科技領域,許多使用機器學習的應用依賴於警報。由於嚴格的監管措施和錯誤決策帶來的巨大財務影響,人工調查可能既耗時又要求高。機器學習在這些場景中無疑有助於協助人類分析師做出正確的決策。但如果一個機器學習系統產生大量的假正例,它會使分析師的工作更加困難。在金融領域,找到正確的平衡點是機器學習的一個重要挑戰。
基礎研究與教育中的機器學習與金融中的機器學習之間的差距 —— 由於金融行業的受監管性質,我們看到在機器學習領域,基礎研究和金融部門之間的思想、資料和資源交流有限。當然也有少數例外。這導致了為滿足金融行業需求的機器學習研究發展不足。我認為必須做出更多努力來縮小這一差距。否則,金融行業將越來越難以利用最新的機器學習進展。
遺留基礎設施和資料庫 —— 許多金融機構仍在使用遺留基礎設施,這給應用現代機器學習技術,特別是整合它們帶來了挑戰。在開發新基礎設施和使機器學習專業人員能夠創新併產生更大影響方面,金融行業可以從科技行業借鑑關鍵思想、文化和最佳實踐。在整個行業中,將機器學習投入運營無疑存在挑戰。
資料和模型治理 —— 在這個領域需要進行更多的資料和模型治理工作。隨著我們收集越來越多的資料,收集高質量資料和正確資料的努力也應相應增加。當機器學習模型參與決策時,需要採取額外的預防措施。需要為不同的金融應用開發適當的模型治理措施和框架。這個領域的一個巨大挑戰是缺乏將資料和模型治理操作化的工具和技術,而這對於在該領域執行的機器學習系統通常是必需的。還應做出更多努力來理解訓練模型的資料中的偏見,以及如何使其成為整個過程中緩解偏見的常規做法。確保可審計性、模型和資料血緣關係對於機器學習團隊來說一直是一個挑戰。
可解釋性和可理解性 —— 開發既高度準確又可解釋和可理解的模型是一個巨大的挑戰。現代深度學習模型通常優於更傳統的模型;然而,它們缺乏可解釋性和可理解性。金融領域的大多數應用都要求可解釋性。採用該領域的最新發展並確保開發具有可解釋預測的可解釋模型一直是一個挑戰。
3. 在嘗試將機器學習整合到金融應用中時,您觀察到的常見錯誤是什麼?
- 沒有很好地理解資料,以及基於這些資料訓練的機器學習模型所做的原始預測。
- 不分析失敗的嘗試並從中學習。
- 不瞭解最終的應用及其使用方式。
- 在簡單的解決方案可能就足夠的情況下,嘗試複雜的技術。
4. 關於機器學習的未來,什麼最讓您興奮?
現代機器學習模型如何利用大量資料進行自監督學習,從而學習文字、音訊、影像、影片、程式碼等的豐富表示,這真的讓我大為震驚。未來無疑是多模態的,透過機器學習的視角理解多模態內容方面已經取得了持續的進展。我認為這在不久的將來將扮演關鍵角色,我對此感到興奮,並期待成為這些進步的一部分。
Soumitri Kolavennu
背景: Soumitri Kolavennu 是美國合眾銀行企業分析和人工智慧組織的高階副總裁兼人工智慧研究負責人。他目前專注於基於深度學習的自然語言處理、視覺和音訊分析、圖神經網路、感測器/知識融合、時間序列資料,應用於金融系統中的自動化、資訊提取、欺詐檢測和反洗錢。
此前,他在霍尼韋爾國際公司工作期間,擔任過 Fellows Leader 和高階研究員,致力於物聯網和控制系統在智慧家居、智慧城市、工業和汽車系統中的應用。
趣聞: Soumitri 是一位多產的發明家,在控制系統、物聯網、無線網路、最佳化、渦輪增壓、語音識別、機器學習和人工智慧等不同領域擁有超過 100 項已授權的美國專利。他還發表了約 30 篇出版物,撰寫了一本書、書籍章節,並當選為美國國家標準與技術研究院 (NIST) 智慧電網委員會的成員。
美國合眾銀行 (U.S. Bank): 美國最大的區域性銀行,美國合眾銀行將其關係團隊、分行和 ATM 網路與數字工具相結合,讓客戶可以隨時、隨地、隨心所欲地辦理銀行業務。
1. 機器學習 (ML) 如何為金融業帶來積極影響?
機器學習和人工智慧對整個金融業,特別是銀行業,產生了深遠而積極的影響。在銀行業的許多應用中,做決策時需要考慮許多因素 (特徵),而機器學習在這方面傳統上一直很有幫助。例如,我們普遍依賴的信用評分就是由機器學習演算法得出的。
多年來,有趣的是,機器學習還幫助消除了決策中的人為偏見,並提供了一種一致的演算法化決策方法。例如,在信用卡/貸款承銷和抵押貸款中,現代人工智慧技術可以考慮更多的因素 (自由格式文字、行為趨勢、社交和金融互動) 來做決策,同時還能檢測欺詐。
2. 金融領域內,機器學習面臨的最大挑戰是什麼?
由於行業性質,金融和銀行業帶來了許多挑戰。首先,這是一個受到高度監管的行業,許多方面都有政府監督。所使用的資料通常是非常個人化和可識別的資料 (社會安全號碼、銀行對賬單、稅務記錄等)。因此,在建立私密且無偏見的機器學習和人工智慧模型時需要非常謹慎。許多政府法規要求任何模型都必須是可解釋的。例如,如果一筆貸款被拒絕,就必須從根本上解釋為什麼被拒絕。
另一方面,在其他行業可能稀缺的資料,在金融行業卻很豐富。(例如,抵押貸款記錄必須儲存 30 年)。當前資料數字化的趨勢以及更復雜的人工智慧/機器學習技術的爆炸式增長,為應用這些進步創造了獨特的機會。
3. 在嘗試將機器學習整合到金融應用中時,您觀察到的常見錯誤是什麼?
最常見的錯誤之一是在不瞭解模型的基本工作原理、優點和缺點的情況下使用模型或技術。人們傾向於將人工智慧/機器學習模型視為一個“黑匣子”。在金融領域,理解模型並能夠解釋其輸出尤為重要。另一個錯誤是沒有在一個有代表性的輸入空間上全面測試模型。在選擇模型時,模型效能、驗證、推理能力和模型監控 (重新訓練間隔) 都是需要考慮的重要因素。
4. 關於機器學習的未來,什麼最讓您興奮?
現在是從事應用機器學習和人工智慧的大好時機。人工智慧/機器學習的技術無疑正在完善,甚至重新定義許多科學學科。我非常興奮於所有正在進行的進展將如何重塑未來。
當我第一次開始從事自然語言處理工作時,我為神經網路/語言模型能夠生成一個代表一個詞、一個帶有關聯語法的句子,甚至一個段落的數字或向量 (我們現在稱之為嵌入) 的能力感到敬畏。我們一直在不斷尋找更合適、更具上下文的嵌入。
我們已經遠遠超出了為文字生成“簡單”嵌入,發展到了“多模態”嵌入,這對我來說更加令人敬畏。我最興奮並期待生成和使用這些新的嵌入,從而在未來實現更多激動人心的應用。
🤗 感謝您參與我們的第三期機器學習總監洞見。敬請期待更多來自機器學習總監的洞見。
非常感謝 Soumitri Kolavennu、Debanjan Mahata 和 Ioannis Bakagiannis 在本文中提供的精彩見解和參與。我們期待見證您持續的成功,並將在每一步為您加油。🎉
如果您有興趣透過 Hugging Face 專家加速您的機器學習路線圖,請訪問 hf.co/support 瞭解更多資訊。