推理

Optimum Intel 可用於從 Hub 載入模型並建立管道，以在各種 Intel 處理器上執行 IPEX 最佳化（包括使用自定義運算子進行修補、權重預打包和圖模式）的推理。目前僅支援 CPU。

載入

您可以載入模型並應用 IPEX 最佳化（除文字生成任務外，應用 torch.compile）。對於 LLaMA、BERT 和 ViT 等受支援的架構，透過修補模型以使用自定義運算子將應用進一步最佳化。目前，僅支援 Intel CPU/GPU。v1.22 中將棄用以前轉換為 TorchScript 的模型。

  import torch
  from transformers import AutoTokenizer, pipeline
- from transformers import AutoModelForCausalLM
+ from optimum.intel import IPEXModelForCausalLM

  model_id = "gpt2"
- model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
+ model = IPEXModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
  tokenizer = AutoTokenizer.from_pretrained(model_id)
  pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
  results = pipe("He's a dreadful magician and")

如下表所示，每個任務都與一個類關聯，該類能夠自動載入您的模型。

自動類	任務
`IPEXModelForSequenceClassification`	`文字分類`
`IPEXModelForTokenClassification`	`詞元分類`
`IPEXModelForQuestionAnswering`	`問題回答`
`IPEXModelForImageClassification`	`影像分類`
`IPEXModel`	`特徵提取`
`IPEXModelForMaskedLM`	`填充掩碼`
`IPEXModelForAudioClassification`	`音訊分類`
`IPEXModelForCausalLM`	`文字生成`
`IPEXModelForSeq2SeqLM`	`text2text-generation`

< > 在 GitHub 上更新