為 TEI 構建自定義容器

您可以使用 Docker 構建自己的 CPU 或 CUDA TEI 容器。要構建 CPU 容器，請在包含自定義 Dockerfile 的目錄中執行以下命令：

docker build .

要構建 CUDA 容器，確定執行時將使用的 GPU 的計算能力（compute cap）至關重要。此資訊對於正確配置 CUDA 容器至關重要。以下是各種 GPU 型別的執行時計算能力示例：

• Turing (T4, RTX 2000 系列, …) - runtime_compute_cap=75
• A100 - runtime_compute_cap=80
• A10 - runtime_compute_cap=86
• Ada Lovelace (RTX 4000 系列, …) - runtime_compute_cap=89
• H100 - runtime_compute_cap=90

確定計算能力後，將其設定為 runtime_compute_cap 變數，並按照以下示例構建容器：

# Get submodule dependencies
git submodule update --init

runtime_compute_cap=80

docker build . -f Dockerfile-cuda --build-arg CUDA_COMPUTE_CAP=$runtime_compute_cap