推理端點(專用)文件

使用自定義容器映象

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

使用自定義容器映象

推理端點不僅允許你自定義你的推理處理程式,還允許你提供自定義容器映象。這些映象可以是公共映象,例如 tensorflow/serving:2.7.3,也可以是託管在 Docker HubAWS ECRAzure ACRGoogle GCR 上的私有映象。

custom container config

從自定義映象建立你的映象工件的流程與基礎映象的流程相同。這意味著推理端點將從你提供的映象派生出一個獨特的映象工件,其中包含所有模型工件。

模型工件(權重)儲存在 /repository 目錄下。例如,如果你使用 tensorflow/serving 作為自定義映象,那麼你必須設定 `model_base_path=“/repository”

tensorflow_model_server \
  --rest_api_port=5000 \
  --model_name=my_model \
  --model_base_path="/repository"
< > 在 GitHub 上更新

© . This site is unofficial and not affiliated with Hugging Face, Inc.