Diffusers 文件
WanTransformer3D模型
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
WanTransformer3D模型
阿里巴巴 Wan 團隊在 Wan 2.1 中引入了一個用於 3D 影片類資料的擴散 Transformer 模型。
該模型可以透過以下程式碼片段載入。
from diffusers import WanTransformer3DModel
transformer = WanTransformer3DModel.from_pretrained("Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="transformer", torch_dtype=torch.bfloat16)WanTransformer3DModel
class diffusers.WanTransformer3DModel
< 原始碼 >( patch_size: typing.Tuple[int] = (1, 2, 2) num_attention_heads: int = 40 attention_head_dim: int = 128 in_channels: int = 16 out_channels: int = 16 text_dim: int = 4096 freq_dim: int = 256 ffn_dim: int = 13824 num_layers: int = 40 cross_attn_norm: bool = True qk_norm: typing.Optional[str] = 'rms_norm_across_heads' eps: float = 1e-06 image_dim: typing.Optional[int] = None added_kv_proj_dim: typing.Optional[int] = None rope_max_seq_len: int = 1024 pos_embed_seq_len: typing.Optional[int] = None )
引數
- patch_size (
Tuple[int], 預設值為(1, 2, 2)) — 影片嵌入的 3D 補丁尺寸（t_patch, h_patch, w_patch）。 - num_attention_heads (
int, 預設值為40) — 文字嵌入的固定長度。 - attention_head_dim (
int, 預設值為128) — 每個頭部的通道數。 - in_channels (
int, 預設值為16) — 輸入通道數。 - out_channels (
int, 預設值為16) — 輸出通道數。 - text_dim (
int, 預設值為512) — 文字嵌入的輸入維度。 - freq_dim (
int, 預設值為256) — 正弦時間嵌入的維度。 - ffn_dim (
int, 預設值為13824) — 前饋網路中的中間維度。 - num_layers (
int, 預設值為40) — 要使用的 Transformer 塊層數。 - window_size (
Tuple[int], 預設值為(-1, -1)) — 區域性注意力視窗大小（-1 表示全域性注意力）。 - cross_attn_norm (
bool, 預設值為True) — 啟用交叉注意力歸一化。 - qk_norm (
bool, 預設值為True) — 啟用查詢/鍵歸一化。 - eps (
float, 預設值為1e-6) — 歸一化層的 Epsilon 值。 - add_img_emb (
bool, 預設值為False) — 是否使用 img_emb。 - added_kv_proj_dim (
int, 可選, 預設值為None) — 額外部索引鍵和值投影的通道數。如果為None，則不使用投影。
Wan 模型中使用的影片類資料的 Transformer 模型。
Transformer2DModelOutput
class diffusers.models.modeling_outputs.Transformer2DModelOutput
< 原始碼 >( sample: torch.Tensor )
引數
- sample (形狀為
(batch_size, num_channels, height, width)的torch.Tensor；如果 Transformer2DModel 為離散型，則形狀為(batch size, num_vector_embeds - 1, num_latent_pixels)) — 在encoder_hidden_states輸入上條件化的隱藏狀態輸出。如果是離散型，則返回未加噪的潛在畫素的機率分佈。
Transformer2DModel 的輸出。