Optimum 文件
GaudiConfig
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
GaudiConfig
要為特定工作負載定義配置，可以使用 GaudiConfig 類。
以下是每個配置引數的描述
use_fused_adam控制是否使用 Intel® Gaudi® AI 加速器提供的 ADAM 最佳化器的自定義融合實現。use_fused_clip_norm控制是否使用 Intel® Gaudi® AI 加速器提供的梯度範數裁剪的自定義融合實現。use_torch_autocast控制是否啟用 PyTorch autocast；用於定義良好的預定義配置；使用者應優先使用--bf16訓練引數。use_dynamic_shapes控制在處理輸入資料集時是否啟用動態形狀支援。autocast_bf16_ops在 autocast 上下文中應以 bf16 精度執行的操作列表；使用環境變數標誌 LOWER_LIST 是覆蓋運算子 autocast 列表的首選方式。autocast_fp32_ops在 autocast 上下文中應以 fp32 精度執行的操作列表；使用環境變數標誌 FP32_LIST 是覆蓋運算子 autocast 列表的首選方式。
此類的引數值可以從外部 JSON 檔案設定。
您可以在 Hugging Face Hub 上的 Intel Gaudi 模型倉庫中找到 Gaudi 配置的示例。例如，對於 BERT Large，我們有
{
"use_fused_adam": true,
"use_fused_clip_norm": true,
"use_torch_autocast": true
}更高階的配置檔案 適用於 Stable Diffusion 2
{
"use_torch_autocast": true,
"use_fused_adam": true,
"use_fused_clip_norm": true,
"autocast_bf16_ops": [
"_convolution.deprecated",
"_convolution",
"conv1d",
"conv2d",
"conv3d",
"conv_tbc",
"conv_transpose1d",
"conv_transpose2d.input",
"conv_transpose3d.input",
"convolution",
"prelu",
"addmm",
"addmv",
"addr",
"matmul",
"einsum",
"mm",
"mv",
"silu",
"linear",
"addbmm",
"baddbmm",
"bmm",
"chain_matmul",
"linalg_multi_dot",
"layer_norm",
"group_norm"
],
"autocast_fp32_ops": [
"acos",
"asin",
"cosh",
"erfinv",
"exp",
"expm1",
"log",
"log10",
"log2",
"log1p",
"reciprocal",
"rsqrt",
"sinh",
"tan",
"pow.Tensor_Scalar",
"pow.Tensor_Tensor",
"pow.Scalar",
"softplus",
"frobenius_norm",
"frobenius_norm.dim",
"nuclear_norm",
"nuclear_norm.dim",
"cosine_similarity",
"poisson_nll_loss",
"cosine_embedding_loss",
"nll_loss",
"nll_loss2d",
"hinge_embedding_loss",
"kl_div",
"l1_loss",
"smooth_l1_loss",
"huber_loss",
"mse_loss",
"margin_ranking_loss",
"multilabel_margin_loss",
"soft_margin_loss",
"triplet_margin_loss",
"multi_margin_loss",
"binary_cross_entropy_with_logits",
"dist",
"pdist",
"cdist",
"renorm",
"logsumexp"
]
}要在您的指令碼中例項化 Gaudi 配置，您可以執行以下操作
from optimum.habana import GaudiConfig
gaudi_config = GaudiConfig.from_pretrained(
gaudi_config_name,
cache_dir=model_args.cache_dir,
revision=model_args.model_revision,
token=model_args.token,
)並透過 gaudi_config 引數將其傳遞給訓練器。