Optimum for Intel® Gaudi® AI 加速器

Optimum for Intel Gaudi AI 加速器是 Hugging Face 庫（Transformers、Diffusers、Accelerate 等）與 Intel Gaudi AI 加速器 (HPU) 之間的介面。它提供了一套工具，使得在單 HPU 和多 HPU 設定上，針對各種下游任務都能輕鬆實現模型載入、訓練和推理，如下表所示。

教程

學習基礎知識並熟悉如何使用 🤗 Optimum 在 HPU 上訓練 Transformer 模型。如果您是首次使用 🤗 Optimum for Intel Gaudi，請從這裡開始！

操作指南

實用指南，幫助您實現特定目標。檢視這些指南，瞭解如何使用 🤗 Optimum for Intel Gaudi 解決實際問題。

Intel Gaudi AI 加速器系列目前包括三代產品：Intel Gaudi 1、Intel Gaudi 2 和 Intel Gaudi 3。每臺伺服器都配備 8 個裝置，稱為 Habana 處理單元 (HPU)，Gaudi 3 提供 128GB 記憶體，Gaudi 2 提供 96GB，第一代 Gaudi 提供 32GB。有關底層硬體架構的更多詳細資訊，請查閱 Gaudi 架構概述。Optimum for Intel Gaudi 庫與所有三代 Gaudi 加速器完全相容。

有關在 Gaudi 上執行工作負載的深入示例，請瀏覽以下部落格文章

以下模型架構、任務和裝置分佈已透過 Optimum for Intel Gaudi 驗證

下表中，✅ 表示單卡、多卡和 DeepSpeed 均已透過驗證。

Transformers

架構	訓練	推理	任務
BERT	✅	✅	文字分類問答語言建模文字特徵提取
RoBERTa	✅	✅	問答語言建模
ALBERT	✅	✅	問答語言建模
DistilBERT	✅	✅	問答語言建模
GPT2	✅	✅	語言建模文字生成
BLOOM(Z)		DeepSpeed	文字生成
StarCoder / StarCoder2	✅	單卡	語言建模文字生成
GPT-J	DeepSpeed	單卡 DeepSpeed	語言建模文字生成
GPT-Neo		單卡	文字生成
GPT-NeoX	DeepSpeed	DeepSpeed	語言建模文字生成
OPT		DeepSpeed	文字生成
Llama 2 / CodeLlama / Llama 3 / Llama Guard / Granite	✅	✅	語言建模文字生成問答文字分類 (Llama Guard)
StableLM		單卡	文字生成
Falcon	LoRA	✅	文字生成
CodeGen		單卡	文字生成
MPT		單卡	文字生成
Mistral		單卡	文字生成
Phi	✅	單卡	語言建模文字生成
Mixtral		單卡	文字生成
Gemma	✅	單卡	語言建模文字生成
Gemma2		✅	文字生成
Qwen2 / Qwen3	單卡	單卡	語言建模文字生成
Qwen2-MoE		單卡	文字生成
Persimmon		單卡	文字生成
XGLM		單卡	文字生成
Cohere		單卡	文字生成
T5 / Flan T5	✅	✅	摘要翻譯問答
BART		單卡	摘要翻譯問答
ViT	✅	✅	影像分類
Swin	✅	✅	影像分類
Wav2Vec2	✅	✅	音訊分類語音識別
Whisper	✅	✅	語音識別
SpeechT5		單卡	文字轉語音
CLIP	✅	✅	對比影像-文字訓練
BridgeTower	✅	✅	對比影像-文字訓練
ESMFold		單卡	蛋白質摺疊
Blip		單卡	視覺問答影像轉文字
OWLViT		單卡	零樣本目標檢測
ClipSeg		單卡	目標分割
Llava / Llava-next / Llava-onevision		單卡	影像轉文字
Paligemma		單卡	影像轉文字
idefics2	LoRA	單卡	影像轉文字
SAM		單卡	目標分割
VideoMAE		單卡	影片分類
TableTransformer		單卡	表格目標檢測
DETR		單卡	目標檢測
Mllama	LoRA	✅	影像轉文字
Video-LLaVA		單卡	影片理解
MiniCPM3		單卡	文字生成
Baichuan2	DeepSpeed	單卡	語言建模文字生成
DeepSeek-V2	✅	✅	文字生成
DeepSeek-V3 / Moonlight		✅	文字生成
ChatGLM	DeepSpeed	單卡	語言建模文字生成
Qwen2-VL		單卡	影像轉文字
GLM-4V		單卡	影像轉文字

Diffusers

架構	訓練	推理	任務
Stable Diffusion	✅	✅	文字到影像生成
Stable Diffusion XL	✅	✅	文字到影像生成
Stable Diffusion Depth2img		單卡	深度到影像生成
Stable Diffusion 3	✅	單卡	文字到影像生成
LDM3D		單卡	文字到影像生成
FLUX.1	LoRA	單卡	文字到影像生成
文字到影片		單卡	文字到影片生成
影像到影片		單卡	影像到影片生成
i2vgen-xl		單卡	影像到影片生成

PyTorch 影像模型/TIMM

架構	訓練	推理	任務
FastViT		單卡	影像分類

架構	訓練	任務
Llama 2	✅	DPO Pipeline
Llama 2	✅	PPO Pipeline
Stable Diffusion	✅	DDPO Pipeline

🤗 Transformers 和 🤗 Diffusers 庫支援的其他模型和任務也可能有效。您可以參考此部分，瞭解如何將其與 🤗 Optimum for Intel Gaudi 結合使用。此外，此頁面解釋瞭如何修改 🤗 Transformers 庫中的任何示例，使其與 🤗 Optimum for Intel Gaudi 相容。

< > 在 GitHub 上更新