使用您自己的容器進行部署

如果現有推理引擎無法滿足您的需求，您可以將自己的自定義解決方案部署為 Docker 容器，並在推理端點上執行。您可以使用公共映象，例如 tensorflow/serving:2.7.3，或託管在 Docker Hub、AWS ECR、Azure ACR 或 Google GCR 上的私有映象。

從自定義映象建立映象工件的建立流程與基礎映象相同。這意味著推理端點將從您提供的映象派生出一個獨特的映象工件，包括所有模型工件。

模型工件（權重）儲存在 /repository 下。例如，如果您使用 tensorflow/serving 作為您的自定義映象，則必須設定 `model_base_path="/repository"

tensorflow_model_server \
  --rest_api_port=5000 \
  --model_name=my_model \
  --model_base_path="/repository"