Hugging Face 與 Wiz Research 合作，提升 AI 安全性

我們很高興地宣佈，我們正在與 Wiz 合作，目標是全面提升我們平臺和整個 AI/ML 生態系統的安全性。

Wiz 研究人員與 Hugging Face 就我們平臺的安全性進行了合作，並分享了他們的發現。Wiz 是一家雲安全公司，幫助客戶以安全的方式構建和維護軟體。在釋出這項研究的同時，我們也藉此機會強調 Hugging Face 方面的一些相關安全改進。

Hugging Face 最近集成了 Wiz 進行漏洞管理，這是一個持續主動的流程，旨在使我們的平臺免受安全漏洞的侵害。此外，我們正在使用 Wiz 進行雲安全態勢管理 (CSPM)，這使我們能夠安全地配置雲環境，並進行監控以確保其保持安全。

我們最喜歡的 Wiz 功能之一是其對漏洞的整體檢視，從儲存到計算再到網路。我們執行多個 Kubernetes (k8s) 叢集，並且在多個區域和雲提供商之間擁有資源，因此在一個位置獲得包含每個漏洞完整上下文圖的集中報告非常有幫助。我們還在他們的工具基礎上進行了構建，以自動修復我們產品中檢測到的問題，尤其是在 Spaces 中。

作為聯合工作的一部分，Wiz 的安全研究團隊透過 pickle 在系統中執行任意程式碼，識別了我們沙盒計算環境的不足。在閱讀本部落格和 Wiz 安全研究論文時，重要的是要記住我們已經解決了所有與漏洞利用相關的問題，並將繼續在威脅檢測和事件響應過程中保持警惕。

Hugging Face 安全性

在 Hugging Face，我們非常重視安全性，因為 AI 快速發展，新的威脅載體似乎每天都在出現。儘管 Hugging Face 宣佈與科技界巨頭建立多項合作伙伴關係和業務關係，我們仍然致力於讓我們的使用者和 AI 社群能夠負責任地試驗和操作 AI/ML 系統和技術。我們致力於保護我們的平臺，並使 AI/ML 民主化，以便社群能夠為這一將影響我們所有人的正規化轉變事件做出貢獻並參與其中。我們撰寫本部落格是為了重申我們對保護使用者和客戶免受安全威脅的承諾。下面我們還將討論 Hugging Face 關於我們對有爭議的 pickle 檔案的支援的理念，以及討論擺脫 pickle 格式的共同責任。

在不久的將來，還將有許多其他令人興奮的安全改進和公告。這些出版物不僅將討論 Hugging Face 平臺社群面臨的安全風險，還將涵蓋 AI 的系統性安全風險以及緩解措施的最佳實踐。我們將繼續致力於確保我們的產品、基礎設施和 AI 社群的安全，請繼續關注後續的安全部落格文章和白皮書。

開源安全協作和社群工具

我們高度重視與社群的透明度和協作，這包括參與漏洞的識別和披露、協作解決安全問題以及安全工具。以下是我們透過協作取得的安全成果的示例，這些成果有助於整個 AI 社群降低其安全風險

• Picklescan 是與微軟合作構建的；Matthieu Maitre 啟動了這個專案，鑑於我們有自己的相同工具的內部版本，我們聯手併為 picklescan 做出了貢獻。如果您想了解更多關於其工作原理的資訊，請參閱以下文件頁面：https://huggingface.co/docs/hub/en/security-pickle
• Safetensors 由 Nicolas Patry 開發，是 pickle 檔案的安全替代方案。Safetensors 已經由 Trail of Bits 在與 EuletherAI 和 Stability AI 的合作倡議下進行了審計。https://huggingface.co/docs/safetensors/en/index
• 我們擁有強大的漏洞賞金計劃，吸引了來自世界各地的許多優秀研究人員。發現安全漏洞的研究人員可以透過 security@huggingface.co 諮詢加入我們的計劃。
• 惡意軟體掃描：https://huggingface.co/docs/hub/en/security-malware
• 秘密掃描：https://huggingface.co/docs/hub/security-secrets
• 如前所述，我們還在與 Wiz 合作，以降低平臺安全風險
• 我們正在啟動一系列安全出版物，旨在解決 AI/ML 社群面臨的安全問題。

開源 AI/ML 使用者的安全最佳實踐

AI/ML 引入了新的攻擊向量，但對於其中許多攻擊，緩解措施早已存在並廣為人知。安全專業人員應確保他們對 AI 資源和模型應用相關的安全控制。此外，以下是一些在使用開源軟體和模型時的資源和最佳實踐

• 瞭解貢獻者：僅使用來自受信任來源的模型，並注意提交簽名。https://huggingface.co/docs/hub/en/security-gpg
• 請勿在生產環境中使用 pickle 檔案
• 使用 Safetensors：https://huggingface.co/docs/safetensors/en/index
• 檢視 OWASP 十大漏洞：https://owasp.org/www-project-top-ten/
• 為您的 Hugging Face 帳戶啟用 MFA
• 建立安全開發生命週期，包括由具有適當安全培訓的安全專業人員或工程師進行程式碼審查，並在非生產和虛擬化測試/開發環境中測試模型

Pickle 檔案 - 房間裡的大象（不安全問題）

Pickle 檔案一直是 Wiz 和其他安全研究人員最近關於 Hugging Face 的大部分研究的核心。Pickle 檔案長期以來被認為存在安全風險，有關更多資訊，請參閱我們的文件檔案：https://huggingface.co/docs/hub/en/security-pickle

儘管存在這些已知的安全缺陷，AI/ML 社群仍然經常使用 pickle（或類似容易被利用的格式）。其中許多用例風險較低或用於測試目的，這使得 pickle 檔案的熟悉度和易用性比安全替代方案更具吸引力。
作為開源 AI 平臺，我們面臨以下選擇：

• 完全禁止 pickle 檔案
• 對 pickle 檔案不採取任何措施
• 尋找一箇中間地帶，既允許使用 pickle，又能合理可行地緩解與 pickle 檔案相關的風險

我們暫時選擇了第三種方案，即中間地帶。這個選項給我們的工程和安全團隊帶來了負擔，我們付出了巨大的努力來緩解風險，同時允許 AI 社群使用他們選擇的工具。我們為 pickle 相關風險實施的一些關鍵緩解措施包括：

• 制定清晰的文件，概述風險
• 開發自動化掃描工具
• 使用掃描工具，並用清晰的警告標記具有安全漏洞的模型
• 我們甚至提供了一個安全的解決方案來替代 pickle (Safetensors)
• 我們還將 Safetensors 作為我們平臺的一等公民，以保護可能不瞭解風險的社群成員
• 除了上述措施，我們還必須對模型使用區域進行顯著的分段和增強安全，以應對其中潛在的漏洞

我們打算繼續在保護 AI 社群方面發揮領導作用。其中一部分將是監控和解決與 pickle 檔案相關的風險。逐步停止對 pickle 的支援也並非不可能，但我們盡力平衡此類決定對社群的影響。

值得注意的是，上游開源社群以及大型科技和安全公司在為解決方案做出貢獻方面大多保持沉默，讓 Hugging Face 獨自定義理念並大力投資開發和實施緩解控制措施，以確保解決方案既可接受又可行。

結束語

我在撰寫這篇部落格文章時與 Safetensors 的建立者 Nicolas Patry 進行了廣泛交談，他請求我向 AI 開源社群和 AI 愛好者發出行動號召

• 主動開始用 Safetensors 替換您的 pickle 檔案。如前所述，pickle 固有安全缺陷，可能在不久的將來不再受支援。
• 繼續向上遊的您喜歡的庫提出關於安全性的問題/PR，以儘可能地向上遊推動安全預設設定。

AI 行業正在迅速變化，新的攻擊向量/漏洞不斷被發現。Huggingface 擁有獨一無二的社群，我們與您緊密合作，幫助我們維護一個安全的平臺。

請記住透過適當的渠道負責任地披露安全漏洞/錯誤，以避免潛在的法律責任和違法行為。

想加入討論嗎？請透過 security@huggingface.co 聯絡我們，或在 Linkedin/Twitter 上關注我們。