🤗 Optimum Intel

🤗 Optimum Intel 是連線 🤗 Transformers 和 Diffusers 庫與 Intel 提供的各種工具和庫之間的介面，用於在 Intel 架構上加速端到端流水線。

Intel Neural Compressor 是一個開源庫，支援使用最流行的壓縮技術，如量化、剪枝和知識蒸餾。它支援自動精度驅動的調優策略，以便使用者可以輕鬆生成量化模型。使用者可以輕鬆應用靜態、動態和感知訓練的量化方法，同時給出預期的準確性標準。它還支援不同的權重剪枝技術，從而能夠建立滿足預定義稀疏度目標的剪枝模型。

OpenVINO 是一個開源工具包，為 Intel CPU、GPU 和專用的深度學習推理加速器（請參閱 支援裝置的完整列表）提供高效能推理能力。它提供了一套工具，透過量化、剪枝和知識蒸餾等壓縮技術來最佳化您的模型。Optimum Intel 提供了一個簡單的介面來最佳化您的 Transformers 和 Diffusers 模型，將它們轉換為 OpenVINO 中間表示（IR）格式，並使用 OpenVINO Runtime 執行推理。

Intel® Extension for PyTorch* (IPEX) 是一個開源庫，為 eager 模式和 graph 模式都提供了最佳化。然而，與 eager 模式相比，PyTorch* 中的 graph 模式通常能透過操作融合等最佳化技術獲得更好的效能。