Diffusers 文件
SD3 Transformer 模型
並獲得增強的文件體驗
開始使用
SD3 Transformer 模型
在 Stable Diffusion 3 中引入的 Transformer 模型。其新穎之處在於 MMDiT transformer 塊。
SD3Transformer2DModel
class diffusers.SD3Transformer2DModel
< 源 >( sample_size: int = 128 patch_size: int = 2 in_channels: int = 16 num_layers: int = 18 attention_head_dim: int = 64 num_attention_heads: int = 18 joint_attention_dim: int = 4096 caption_projection_dim: int = 1152 pooled_projection_dim: int = 2048 out_channels: int = 16 pos_embed_max_size: int = 96 dual_attention_layers: typing.Tuple[int, ...] = () qk_norm: typing.Optional[str] = None )
引數
- sample_size (
int, 預設為128) — 潛在空間的寬度/高度。這在訓練期間是固定的，因為它用於學習多個位置嵌入。 - patch_size (
int, 預設為2) — 用於將輸入資料轉換為小塊的塊大小。 - in_channels (
int, 預設為16) — 輸入中的潛在通道數。 - num_layers (
int, 預設為18) — 要使用的 transformer 塊的層數。 - attention_head_dim (
int, 預設為64) — 每個頭的通道數。 - num_attention_heads (
int, 預設為18) — 用於多頭注意力的頭數。 - joint_attention_dim (
int, 預設為4096) — 用於聯合文字影像注意力的嵌入維度。 - caption_projection_dim (
int, 預設為1152) — 標題嵌入的嵌入維度。 - pooled_projection_dim (
int, 預設為2048) — 池化文字投影的嵌入維度。 - out_channels (
int, 預設為16) — 輸出中的潛在通道數。 - pos_embed_max_size (
int, 預設為96) — 位置嵌入的最大潛在高度/寬度。 - dual_attention_layers (
Tuple[int, ...], 預設為()) — 要使用的雙流 transformer 塊的數量。 - qk_norm (
str, 可選, 預設為None) — 在注意力層中用於查詢和鍵的歸一化方式。如果為None，則不使用歸一化。
在 Stable Diffusion 3 中引入的 Transformer 模型。
forward
< 源 >( hidden_states: Tensor encoder_hidden_states: Tensor = None pooled_projections: Tensor = None timestep: LongTensor = None block_controlnet_hidden_states: typing.List = None joint_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None return_dict: bool = True skip_layers: typing.Optional[typing.List[int]] = None )
引數
- hidden_states (形狀為
(批次大小, 通道數, 高度, 寬度)的torch.Tensor) — 輸入的hidden_states。 - encoder_hidden_states (形狀為
(批次大小, 序列長度, 嵌入維度)的torch.Tensor) — 要使用的條件嵌入（從輸入條件（如提示）計算的嵌入）。 - pooled_projections (形狀為
(批次大小, 投影維度)的torch.Tensor) — 從輸入條件嵌入中投影的嵌入。 - timestep (
torch.LongTensor) — 用於指示去噪步驟。 - block_controlnet_hidden_states (
torch.Tensor列表) — 如果指定，則將新增到 transformer 塊殘差中的張量列表。 - joint_attention_kwargs (
dict, 可選) — 一個 kwargs 字典，如果指定，將傳遞給 diffusers.models.attention_processor 中定義的self.processor的AttentionProcessor。 - return_dict (
bool, 可選, 預設為True) — 是否返回~models.transformer_2d.Transformer2DModelOutput而不是普通元組。 - skip_layers (
int列表, 可選) — 在前向傳播期間要跳過的層索引列表。
SD3Transformer2DModel 前向方法。
設定注意力處理器
< 源 >( processor: typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]] )
設定用於計算注意力的注意力處理器。