第三方掃描器：JFrog

JFrog 的安全掃描器可檢測機器學習模型中的惡意行為。

danger.dat 的報告示例

我們與 JFrog 合作提供掃描服務，以使 Hub 更加安全。模型檔案由 JFrog 掃描器掃描，我們會在 Hub 介面上顯示掃描結果。

JFrog 的掃描器旨在減少誤報。事實上，我們目前觀察到，模型權重中包含的程式碼並不總是惡意的。當在檔案中檢測到程式碼時，JFrog 的掃描器會解析並分析它，以檢查潛在的惡意用途。

這裡有一個示例倉庫，你可以檢視以瞭解該功能的實際效果：mcpotato/42-eicar-street。

模型安全知識複習

為了共享模型，我們序列化與模型互動所使用的資料結構，以便於儲存和傳輸。一些序列化格式容易受到惡意攻擊，例如任意程式碼執行（說的就是你 pickle），這使得共享模型具有潛在危險。

由於 Hugging Face 已成為模型共享的熱門平臺，我們希望保護社群免受此類威脅，因此我們開發了像 picklescan 這樣的工具，並集成了第三方掃描器。

Pickle 不是唯一可被利用的格式，請參考此文瞭解如何利用 Keras Lambda 層實現任意程式碼執行。

< > 在 GitHub 上更新