英特爾 Gaudi

英特爾 Gaudi AI 加速器家族包括 Intel Gaudi 1、Intel Gaudi 2 和 Intel Gaudi 3。每臺伺服器都配備 8 個裝置，稱為 Habana 處理單元 (HPU)，在 Gaudi 3 上提供 128GB 記憶體，在 Gaudi 2 上提供 96GB，在第一代 Gaudi 上提供 32GB。有關底層硬體架構的更多詳細資訊，請檢視 Gaudi 架構概述。

TrainingArguments、Trainer 和 Pipeline 會在 Intel Gaudi 裝置可用時檢測並設定後端裝置為 hpu。無需額外更改即可在您的裝置上啟用訓練和推理。

Transformers 中的某些建模程式碼未針對 HPU 惰性模式進行最佳化。如果遇到任何錯誤，請設定以下環境變數以使用急切模式

PT_HPU_LAZY_MODE=0

在某些情況下，您還需要啟用 int64 支援，以避免長整數的型別轉換問題

PT_ENABLE_INT64_SUPPORT=1

有關更多詳細資訊，請參閱 Gaudi 文件。