Safetensors

Safetensors 是一種用於深度學習模型的模型序列化格式。與 pickle 等其他序列化格式（許多深度學習庫在底層使用）相比，它更快且更安全。

TGI 主要依賴 safetensors 格式來實現張量並行分片。在服務期間，對於給定的模型倉庫，TGI 會查詢 safetensors 權重。如果沒有 safetensors 權重，TGI 會將 PyTorch 權重轉換為 safetensors 格式。

您可以透過閱讀 safetensors 文件來了解更多關於 safetensors 的資訊。

< > 在 GitHub 上更新