🤗 Optimum

🤗 Optimum 是 Transformers 的擴充套件，提供了一系列效能最佳化工具，旨在以最高效率在指定硬體上訓練與執行模型。

AI 生態系統發展迅速，每天都有越來越多專業硬體及其專屬的最佳化技術湧現。因此，Optimum 讓開發者能夠以使用 Transformers 原生般的簡易度，高效利用這些平台。

🤗 Optimum 以一系列套件集合的形式發布——請參考下方的連結，深入了解每一個套件。

硬體合作夥伴

下方的套件讓您能在各類裝置上充分發揮 🤗 Hugging Face 生態系統的優勢。

透過 NVIDIA TensorRT-LLM 在 NVIDIA 平台上加速推論

利用 AWS Trainium 與 AWS Inferentia 加速您的訓練與推論工作流程

利用 Google TPUs 加速您的訓練與推論工作流程

利用 OpenVINO 最佳化模型以提升推論速度

利用 Intel Gaudi 處理器將訓練吞吐量與效率最大化

在 FuriosaAI WARBOY 上實現快速且高效的推論

🤗 Optimum 也支援多種開源框架，讓模型最佳化變得非常容易。

利用 ONNX Runtime 進行量化與圖最佳化，加速 Transformers 模型的訓練與推論

透過 ExecuTorch 實現邊緣裝置推論的 PyTorch 原生解決方案

將您的 PyTorch 模型匯出為 ONNX 等不同格式

利用 Torch FX 建立並組合自定義圖轉換，以最佳化 PyTorch Transformers 模型