使用 TGI CLI

您可以使用 TGI 命令列介面（CLI）來下載權重、服務和量化模型，或者獲取有關服務引數的資訊。要安裝 CLI，請參閱安裝部分。

text-generation-server 允許您使用 download-weights 命令下載模型，如下所示 👇

text-generation-server download-weights MODEL_HUB_ID

您也可以使用它來量化模型，如下所示 👇

text-generation-server quantize MODEL_HUB_ID OUTPUT_DIR

您可以使用 text-generation-launcher 來服務模型。

text-generation-launcher --model-id MODEL_HUB_ID --port 8080

您可以向 text-generation-launcher 傳遞許多選項和引數。CLI 的文件保持最少，旨在依賴於自生成文件，可以透過執行以下命令找到：

text-generation-launcher --help

您也可以在 Swagger UI 中找到它。

text-generation-server 也有相同的文件。

text-generation-server --help