Diffusers 文件

歸一化層

Diffusers

加入 Hugging Face 社群

並獲得增強的文件體驗

在模型、資料集和 Spaces 上進行協作

透過加速推理獲得更快的示例

切換文件主題

開始使用

歸一化層

用於支援 🤗 Diffusers 中各種模型的定製歸一化層。

AdaLayerNorm

類 diffusers.models.normalization.AdaLayerNorm

< 來源 >

( embedding_dim: int num_embeddings: typing.Optional[int] = None output_dim: typing.Optional[int] = None norm_elementwise_affine: bool = False norm_eps: float = 1e-05 chunk_dim: int = 0 )

引數

embedding_dim (int) — 每個嵌入向量的大小。
num_embeddings (int, 可選) — 嵌入字典的大小。
output_dim (int, 可選) —
norm_elementwise_affine (bool, 預設為`False) —
norm_eps (bool, 預設為 False) —
chunk_dim (int, 預設為 0) —

歸一化層經過修改，以結合時間步嵌入。

AdaLayerNormZero

類 diffusers.models.normalization.AdaLayerNormZero

< 來源 >

( embedding_dim: int num_embeddings: typing.Optional[int] = None norm_type = 'layer_norm' bias = True )

引數

embedding_dim (int) — 每個嵌入向量的大小。
num_embeddings (int) — 嵌入字典的大小。

自適應層歸一化層零（adaLN-Zero）。

AdaLayerNormSingle

類 diffusers.models.normalization.AdaLayerNormSingle

< 來源 >

( embedding_dim: int use_additional_conditions: bool = False )

引數

embedding_dim (int) — 每個嵌入向量的大小。
use_additional_conditions (bool) — 是否使用額外條件進行歸一化。

自適應層歸一化單（adaLN-single）。

如 PixArt-Alpha 中所提議（參見：https://huggingface.co/papers/2310.00426；第 2.3 節）。

AdaGroupNorm

類 diffusers.models.normalization.AdaGroupNorm

< 來源 >

( embedding_dim: int out_dim: int num_groups: int act_fn: typing.Optional[str] = None eps: float = 1e-05 )

引數

embedding_dim (int) — 每個嵌入向量的大小。
num_embeddings (int) — 嵌入字典的大小。
num_groups (int) — 將通道分成組的數量。
act_fn (str, 可選, 預設為 None) — 要使用的啟用函式。
eps (float, 可選, 預設為 1e-5) — 用於數值穩定性的 epsilon 值。

經過修改的 GroupNorm 層，以結合時間步嵌入。

AdaLayerNormContinuous

類 diffusers.models.normalization.AdaLayerNormContinuous

< 來源 >

( embedding_dim: int conditioning_embedding_dim: int elementwise_affine = True eps = 1e-05 bias = True norm_type = 'layer_norm' )

引數

embedding_dim (int) — 在投影期間使用的嵌入維度。
conditioning_embedding_dim (int) — 輸入條件的維度。
elementwise_affine (bool, 預設為 True) — 表示是否應用仿射變換的布林標誌。
eps (float, 預設為 1e-5) — Epsilon 因子。
bias (bias, 預設為 True) — 是否也訓練 bias 引數。
norm_type (str, 預設為 "layer_norm") — 要使用的歸一化層。支援的值：“layer_norm”、“rms_norm”。

帶有歸一化層（layer_norm 或 rms_norm）的自適應歸一化層。

RMSNorm

類 diffusers.models.normalization.RMSNorm

< 來源 >

( dim eps: float elementwise_affine: bool = True bias: bool = False )

引數

dim (int) — 用於 weights 的維度數量。僅在 elementwise_affine 為 True 時有效。
eps (float) — 計算平方根倒數時使用的微小值。
elementwise_affine (bool, 預設為 True) — 表示是否應用仿射變換的布林標誌。
bias (bool, 預設為 False) — 如果也訓練 bias 引數。

Zhang 等人在 https://huggingface.co/papers/1910.07467 中引入的 RMS 歸一化。

GlobalResponseNorm

類 diffusers.models.normalization.GlobalResponseNorm

< source >

( dim )

引數

dim (int) — 用於 `gamma` 和 `beta` 的維度數。

ConvNeXt-v2 中引入的全域性響應歸一化 (https://huggingface.co/papers/2301.00808)。

LuminaLayerNormContinuous

class diffusers.models.normalization.LuminaLayerNormContinuous

< source >

( embedding_dim: int conditioning_embedding_dim: int elementwise_affine = True eps = 1e-05 bias = True norm_type = 'layer_norm' out_dim: typing.Optional[int] = None )