Hugging Face 的 LOGO

Diffusers 文件

PixArtTransformer2DModel

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

PixArtTransformer2DModel

來自 PixArt-Alpha 和 PixArt-Sigma 的影像資料 Transformer 模型。

PixArtTransformer2DModel

class diffusers.PixArtTransformer2DModel

< >

( num_attention_heads: int = 16 attention_head_dim: int = 72 in_channels: int = 4 out_channels: typing.Optional[int] = 8 num_layers: int = 28 dropout: float = 0.0 norm_num_groups: int = 32 cross_attention_dim: typing.Optional[int] = 1152 attention_bias: bool = True sample_size: int = 128 patch_size: int = 2 activation_fn: str = 'gelu-approximate' num_embeds_ada_norm: typing.Optional[int] = 1000 upcast_attention: bool = False norm_type: str = 'ada_norm_single' norm_elementwise_affine: bool = False norm_eps: float = 1e-06 interpolation_scale: typing.Optional[int] = None use_additional_conditions: typing.Optional[bool] = None caption_channels: typing.Optional[int] = None attention_type: typing.Optional[str] = 'default' )

引數

  • num_attention_heads (int, 可選，預設為 16) — 用於多頭注意力機制的頭數。
  • attention_head_dim (int, 可選，預設為 72) — 每個頭部的通道數。
  • in_channels (int, 預設為 4) — 輸入通道數。
  • out_channels (int, 可選) — 輸出通道數。如果輸出通道數與輸入通道數不同，請指定此引數。
  • num_layers (int, 可選，預設為 28) — 要使用的 Transformer 塊層數。
  • dropout (float, 可選，預設為 0.0) — Transformer 塊中要使用的 dropout 機率。
  • norm_num_groups (int, 可選，預設為 32) — Transformer 塊中組歸一化的組數。
  • cross_attention_dim (int, 可選) — 交叉注意力層的維度，通常與編碼器的隱藏維度匹配。
  • attention_bias (bool, 可選，預設為 True) — 配置 Transformer 塊的注意力機制是否包含偏置引數。
  • sample_size (int, 預設為 128) — 潛在影像的寬度。此引數在訓練期間是固定的。
  • patch_size (int, 預設為 2) — 模型處理的塊大小，與處理非序列資料的架構相關。
  • activation_fn (str, 可選，預設為 “gelu-approximate”) — Transformer 塊內部前饋網路中使用的啟用函式。
  • num_embeds_ada_norm (int, 可選，預設為 1000) — AdaLayerNorm 的嵌入數量，在訓練期間固定，並影響推理期間的最大去噪步數。
  • upcast_attention (bool, 可選，預設為 False) — 如果為 True，則向上轉換注意力機制維度以可能提高效能。
  • norm_type (str, 可選，預設為 “ada_norm_zero”) — 指定使用的歸一化型別，可以是 “ada_norm_zero”。
  • norm_elementwise_affine (bool, 可選，預設為 False) — 如果為 True，則在歸一化層中啟用元素級仿射引數。
  • norm_eps (float, 可選，預設為 1e-6) — 新增到歸一化層分母中的小常數，以防止除以零。
  • interpolation_scale (int, 可選) — 插值位置嵌入時使用的縮放因子。
  • use_additional_conditions (bool, 可選) — 是否使用附加條件作為輸入。
  • attention_type (str, 可選，預設為 “default”) — 使用的注意力機制型別。
  • caption_channels (int, 可選，預設為 None) — 用於投影標題嵌入的通道數。
  • use_linear_projection (bool, 可選，預設為 False) — 已棄用引數。將在未來版本中移除。
  • num_vector_embeds (bool, 可選，預設為 False) — 已棄用引數。將在未來版本中移除。

PixArt 模型家族中引入的 2D Transformer 模型（https://huggingface.co/papers/2310.00426，https://huggingface.co/papers/2403.04692）。

forward

< >

( hidden_states: Tensor encoder_hidden_states: typing.Optional[torch.Tensor] = None timestep: typing.Optional[torch.LongTensor] = None added_cond_kwargs: typing.Dict[str, torch.Tensor] = None cross_attention_kwargs: typing.Dict[str, typing.Any] = None attention_mask: typing.Optional[torch.Tensor] = None encoder_attention_mask: typing.Optional[torch.Tensor] = None return_dict: bool = True )

引數

  • hidden_states (torch.FloatTensor，形狀為 (batch_size, channel, height, width)) — 輸入 hidden_states。
  • encoder_hidden_states (torch.FloatTensor，形狀為 (batch_size, sequence_len, embed_dims)，可選) — 交叉注意力層的條件嵌入。如果未給定，交叉注意力預設為自注意力。
  • timestep (torch.LongTensor, 可選) — 用於指示去噪步長。可選的 timestep 將作為嵌入應用於 AdaLayerNorm。
  • added_cond_kwargs — (Dict[str, Any], 可選): 用作輸入的附加條件。
  • cross_attention_kwargs ( Dict[str, Any], 可選) — 如果指定，則將此 kwargs 字典傳遞給 diffusers.models.attention_processor 中定義的 self.processor 的 AttentionProcessor。
  • attention_mask (torch.Tensor, 可選) — 形狀為 (batch, key_tokens) 的注意力掩碼應用於 encoder_hidden_states。如果為 1 則保留掩碼，否則如果為 0 則丟棄。掩碼將轉換為偏置，這將為對應於“丟棄”token 的注意力分數新增大的負值。
  • encoder_attention_mask (torch.Tensor, 可選) — 應用於 encoder_hidden_states 的交叉注意力掩碼。支援兩種格式：

    • 掩碼 (batch, sequence_length) True = 保留，False = 丟棄。
    • 偏置 (batch, 1, sequence_length) 0 = 保留，-10000 = 丟棄。

    如果 ndim == 2：將被解釋為掩碼，然後轉換為與上述格式一致的偏置。此偏置將新增到交叉注意力分數中。

  • return_dict (bool, 可選, 預設為 True) — 是否返回 UNet2DConditionOutput 而不是普通元組。

PixArtTransformer2DModel forward 方法。

融合 qkv 投影

< >

( )

啟用融合 QKV 投影。對於自注意力模組，所有投影矩陣（即查詢、鍵、值）都將融合。對於交叉注意力模組，鍵和值投影矩陣將融合。

此 API 是 🧪 實驗性的。

設定注意力處理器

< >

( processor: typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor, typing.Dict[str, typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]] )

引數

  • processor (AttentionProcessor 的 dict 或僅為 AttentionProcessor) — 例項化後的處理器類或處理器類字典，將作為所有 Attention 層的處理器設定。

    如果 processor 是一個字典，鍵需要定義到相應交叉注意力處理器的路徑。在設定可訓練的注意力處理器時，強烈推薦這樣做。

設定用於計算注意力的注意力處理器。

set_default_attn_processor

< >

( )

停用自定義注意力處理器並設定預設注意力實現。

可以直接使用 AttnProcessor()，因為 PixArt 在預設模型中不包含任何特殊的注意力處理器。

unfuse_qkv_projections

< >

( )

如果啟用了，則停用融合的 QKV 投影。

此 API 是 🧪 實驗性的。

< > 在 GitHub 上更新

←OmniGenTransformer2DModel PriorTransformer→
© . This site is unofficial and not affiliated with Hugging Face, Inc.