Safetensors

Safetensors 是一種用於深度學習模型的序列化格式。與 pickle（許多深度學習函式庫底層所使用的格式）等其他序列化格式相比，它更快速且更安全。

TGI 依賴 safetensors 格式，主要是為了實現張量平行分片 (tensor parallelism sharding)。在進行模型服務時，TGI 會先尋找儲存庫中的 safetensors 權重。如果沒有 safetensors 權重，TGI 會自動將 PyTorch 權重轉換為 safetensors 格式。

您可以透過閱讀 safetensors 文件來了解更多關於 safetensors 的資訊。

在 GitHub 上更新