文字嵌入推理

部署私有和受限模型

如果您希望部署的模型受限於訪問許可權或位於 Hugging Face Hub 上的私有模型庫中，您將需要擁有訪問該模型的許可權才能部署它。

確認您已擁有模型的訪問許可權後

導航至您賬戶的個人資料 | 設定 | 訪問令牌頁面。
生成並複製一個讀取令牌。

如果您使用的是 CLI，請設定 `HF_TOKEN` 環境變數。例如：

export HF_TOKEN=<YOUR READ TOKEN>

或者，您可以在使用 Docker 部署模型時提供令牌

model=<your private model>
volume=$PWD/data
token=<your cli Hugging Face Hub token>

docker run --gpus all -e HF_TOKEN=$token -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:1.8 --model-id $model

< > 在 GitHub 上更新