推理端點(專用)文件
使用自定義容器映象
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
使用自定義容器映象
推理端點不僅允許你自定義你的推理處理程式,還允許你提供自定義容器映象。這些映象可以是公共映象,例如 tensorflow/serving:2.7.3
,也可以是託管在 Docker Hub、AWS ECR、Azure ACR 或 Google GCR 上的私有映象。

從自定義映象建立你的映象工件的流程與基礎映象的流程相同。這意味著推理端點將從你提供的映象派生出一個獨特的映象工件,其中包含所有模型工件。
模型工件(權重)儲存在 /repository
目錄下。例如,如果你使用 tensorflow/serving
作為自定義映象,那麼你必須設定 `model_base_path=“/repository”
tensorflow_model_server \
--rest_api_port=5000 \
--model_name=my_model \
--model_base_path="/repository"