Optimum 文件
安裝
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
安裝
🤗 Optimum 可以透過 pip 安裝,如下所示:
python -m pip install optimum
如果您想使用 🤗 Optimum 的特定加速器功能,可以根據下表安裝所需的依賴項:
| 加速器 | 安裝 |
|---|---|
| ONNX Runtime | pip install --upgrade --upgrade-strategy eager optimum[onnxruntime] |
| 英特爾神經壓縮器 (Intel Neural Compressor) | pip install --upgrade --upgrade-strategy eager optimum[neural-compressor] |
| OpenVINO | pip install --upgrade --upgrade-strategy eager optimum[openvino] |
| IPEX | pip install --upgrade --upgrade-strategy eager optimum[ipex] |
| NVIDIA TensorRT-LLM | docker run -it --gpus all --ipc host huggingface/optimum-nvidia |
| AMD Instinct GPU 和 Ryzen AI NPU | pip install --upgrade --upgrade-strategy eager optimum[amd] |
| AWS Trainum & Inferentia | pip install --upgrade --upgrade-strategy eager optimum[neuronx] |
| Habana Gaudi 處理器 (HPU) | pip install --upgrade --upgrade-strategy eager optimum[habana] |
| FuriosaAI | pip install --upgrade --upgrade-strategy eager optimum[furiosa] |
需要使用 --upgrade --upgrade-strategy eager 選項來確保不同的包都升級到最新的可用版本。
如果您想體驗示例或需要最新的程式碼而等不及新版本的釋出,您可以從原始碼安裝基礎庫,如下所示:
python -m pip install git+https://github.com/huggingface/optimum.git
對於特定加速器的功能,您可以在 pip 命令後附加 optimum[accelerator_type] 來安裝它們,例如:
python -m pip install optimum[onnxruntime]@git+https://github.com/huggingface/optimum.git