Text Generation Inference

加入 Hugging Face 社群

並獲得增強的文件體驗

在模型、資料集和 Spaces 上進行協作

透過加速推論實現更快的範例

切換文件主題

開始使用

部署私人與受限模型

若您希望部署的模型受權限控管（gated access），或是該模型儲存庫在 Hugging Face Hub 上為私人（private）狀態，且您擁有該模型的存取權限，則可以提供您的 Hugging Face Hub 存取權杖（access token）。您可以從 Hugging Face Hub 權杖頁面產生並複製一個唯讀（read）權杖。

如果您使用的是 CLI，請設定 HF_TOKEN 環境變數。例如：

export HF_TOKEN=<YOUR READ TOKEN>

如果您想透過 Docker 進行部署，可以如下所示，透過指定 HF_TOKEN 來提供您的權杖。

model=meta-llama/Llama-2-7b-chat-hf
volume=$PWD/data
token=<your READ token>

docker run --gpus all \
    --shm-size 1g \
    -e HF_TOKEN=$token \
    -p 8080:80 \
    -v $volume:/data ghcr.io/huggingface/text-generation-inference:3.3.5 \
    --model-id $model

在 GitHub 上更新

←準備部署模型使用 TGI CLI→