模型安全性。

Pytorch 預設使用 pickle，這意味著長期以來，每一個使用該格式的模型在載入時，都有可能執行非預期的程式碼。

Python 的 pickle 頁面上有一個醒目的紅色警告連結，但長期以來，社群一直忽視這一點。現在 AI/ML 應用已日益普及，我們必須放棄這種格式。

HuggingFace 正致力於解決此問題，我們建立了一種僅包含純數據的新格式 (safetensors)，並緩慢而堅定地推動所有函式庫預設使用該格式。此轉移過程刻意放慢速度，旨在將重大變更對使用者的影響降至最低。

TGI 2.0

自 TGI 2.0 發布以來，我們藉由這次主要版本升級的機會，中斷了對這些 pytorch 模型的向後相容性（因為對於任何部署它們的人來說，這都存在巨大的安全風險）。

從現在開始，如果沒有使用 --trust-remote-code 旗標或環境變數 TRUST_REMOTE_CODE=true，TGI 將不會自動轉換 pickle 檔案。此旗標已用於社群定義的推理程式碼，因此它相當能代表您對模型提供者所賦予的信任程度。

如果您想使用 pickle 格式的模型，但仍不希望完全信任作者，我們建議您使用我們提供的空間進行轉換。

https://huggingface.co/spaces/safetensors/convert

此空間將會在原始模型上建立一個 PR（拉取請求），無論原始作者是否合併，您都可以直接使用該 PR。只需使用即可。

docker run .... --revision refs/pr/#ID # Or use REVISION=refs/pr/#ID in the environment