Optimum 文件
安裝
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
安裝
🤗 Optimum 可以透過 pip
安裝,如下所示:
python -m pip install optimum
如果您想使用 🤗 Optimum 的特定加速器功能,可以根據下表安裝所需的依賴項:
加速器 | 安裝 |
---|---|
ONNX Runtime | pip install --upgrade --upgrade-strategy eager optimum[onnxruntime] |
英特爾神經壓縮器 (Intel Neural Compressor) | pip install --upgrade --upgrade-strategy eager optimum[neural-compressor] |
OpenVINO | pip install --upgrade --upgrade-strategy eager optimum[openvino] |
IPEX | pip install --upgrade --upgrade-strategy eager optimum[ipex] |
NVIDIA TensorRT-LLM | docker run -it --gpus all --ipc host huggingface/optimum-nvidia |
AMD Instinct GPU 和 Ryzen AI NPU | pip install --upgrade --upgrade-strategy eager optimum[amd] |
AWS Trainum & Inferentia | pip install --upgrade --upgrade-strategy eager optimum[neuronx] |
Habana Gaudi 處理器 (HPU) | pip install --upgrade --upgrade-strategy eager optimum[habana] |
FuriosaAI | pip install --upgrade --upgrade-strategy eager optimum[furiosa] |
需要使用 --upgrade --upgrade-strategy eager
選項來確保不同的包都升級到最新的可用版本。
如果您想體驗示例或需要最新的程式碼而等不及新版本的釋出,您可以從原始碼安裝基礎庫,如下所示:
python -m pip install git+https://github.com/huggingface/optimum.git
對於特定加速器的功能,您可以在 pip
命令後附加 optimum[accelerator_type]
來安裝它們,例如:
python -m pip install optimum[onnxruntime]@git+https://github.com/huggingface/optimum.git