text-generation-inference

服務私有和受限模型

如果您希望服務的模型受到受限訪問或 Hugging Face Hub 上的模型倉庫是私有的，並且您有權訪問該模型，您可以提供您的 Hugging Face Hub 訪問令牌。您可以從 Hugging Face Hub 令牌頁面生成並複製一個讀取令牌。

如果您正在使用 CLI，請設定 HF_TOKEN 環境變數。例如：

export HF_TOKEN=<YOUR READ TOKEN>

如果您想透過 Docker 來完成，可以透過指定 HF_TOKEN 來提供您的令牌，如下所示。

model=meta-llama/Llama-2-7b-chat-hf
volume=$PWD/data
token=<your READ token>

docker run --gpus all \
    --shm-size 1g \
    -e HF_TOKEN=$token \
    -p 8080:80 \
    -v $volume:/data ghcr.io/huggingface/text-generation-inference:3.3.4 \
    --model-id $model

< > 在 GitHub 上更新