使用 TGI CLI

您可以利用 TGI 命令列介面 (CLI) 來下載權重、部署並量化模型，或是獲取有關服務參數的資訊。若要安裝 CLI，請參閱安裝章節。

text-generation-server 讓您可以使用下方的 download-weights 指令來下載模型 👇

text-generation-server download-weights MODEL_HUB_ID

您也可以使用它來量化模型，如下方所示 👇

text-generation-server quantize MODEL_HUB_ID OUTPUT_DIR

您可以使用 text-generation-launcher 來部署模型。

text-generation-launcher --model-id MODEL_HUB_ID --port 8080

您可以將許多選項和參數傳遞給 text-generation-launcher。CLI 的文件保持簡潔，旨在依賴自動生成的文件，您可以透過執行以下指令來找到它：

text-generation-launcher --help

您也可以在此 Swagger UI 中找到託管的文件。

同樣的文件也適用於 text-generation-server。

text-generation-server --help