🤗 Optimum

🤗 Optimum 是 Transformers 的擴充套件，提供了一套效能最佳化工具，可最大程度地高效訓練和執行模型。

AI 生態系統發展迅速，每天都有越來越多的專業硬體及其各自的最佳化方案出現。因此，Optimum 使開發人員能夠像使用 Transformers 一樣輕鬆高效地使用這些平臺中的任何一個。

🤗 Optimum 作為一系列軟體包釋出 - 請檢視以下連結，深入瞭解每個軟體包。

硬體合作伙伴

以下軟體包可讓您在各種裝置上充分利用 🤗 Hugging Face 生態系統。

在 NVIDIA 平臺上使用 NVIDIA TensorRT-LLM 加速推理

為 AMD Instinct GPU 和 AMD Ryzen AI NPU 啟用效能最佳化

使用 OpenVINO、Neural Compressor 和 IPEX 最佳化模型以加速推理

使用 AWS Trainium 和 AWS Inferentia 加速您的訓練和推理工作流

使用 Google TPUs 加速您的訓練和推理工作流

使用 Habana 的 Gaudi 處理器最大化訓練吞吐量和效率

在 FuriosaAI WARBOY 上進行快速高效的推理

🤗 Optimum 還支援各種開源框架，使模型最佳化變得非常簡單。

應用量化和圖最佳化，以使用 ONNX Runtime 加速 Transformers 模型的訓練和推理

透過 ExecuTorch 在邊緣進行推理的 PyTorch 原生解決方案

將您的 PyTorch 或 TensorFlow 模型匯出為 ONNX 和 TFLite 等不同格式

使用 Torch FX 建立和組合自定義圖轉換，以最佳化 PyTorch Transformers 模型