Diffusers 文件
MochiTransformer3D模型
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
MochiTransformer3D模型
Genmo在Mochi-1 Preview中介紹了用於3D影片類資料的擴散Transformer模型。
該模型可以透過以下程式碼片段載入。
from diffusers import MochiTransformer3DModel
transformer = MochiTransformer3DModel.from_pretrained("genmo/mochi-1-preview", subfolder="transformer", torch_dtype=torch.float16).to("cuda")MochiTransformer3D模型
類 diffusers.MochiTransformer3DModel
< 來源 >( patch_size: int = 2 num_attention_heads: int = 24 attention_head_dim: int = 128 num_layers: int = 48 pooled_projection_dim: int = 1536 in_channels: int = 12 out_channels: typing.Optional[int] = None qk_norm: str = 'rms_norm' text_embed_dim: int = 4096 time_embed_dim: int = 256 activation_fn: str = 'swiglu' max_sequence_length: int = 256 )
引數
- patch_size (
int, 預設為2) — 在補丁嵌入層中使用的補丁大小。 - num_attention_heads (
int, 預設為24) — 用於多頭注意力的頭數。 - attention_head_dim (
int, 預設為128) — 每個頭中的通道數。 - num_layers (
int, 預設為48) — Transformer塊的層數。 - in_channels (
int, 預設為12) — 輸入中的通道數。 - out_channels (
int, 可選, 預設為None) — 輸出中的通道數。 - qk_norm (
str, 預設為"rms_norm") — 要使用的歸一化層。 - text_embed_dim (
int, 預設為4096) — 文字編碼器中文字嵌入的輸入維度。 - time_embed_dim (
int, 預設為256) — 時間步嵌入的輸出維度。 - activation_fn (
str, 預設為"swiglu") — 在前饋中使用的啟用函式。 - max_sequence_length (
int, 預設為256) — 支援的文字嵌入的最大序列長度。
Genmo在Mochi中介紹了用於影片類資料的Transformer模型。
Transformer2DModelOutput
類 diffusers.models.modeling_outputs.Transformer2DModelOutput
< 來源 >( sample: torch.Tensor )
引數
- sample (形狀為
(batch_size, num_channels, height, width)的torch.Tensor或如果 Transformer2DModel是離散的，則為(batch size, num_vector_embeds - 1, num_latent_pixels)) — 基於encoder_hidden_states輸入的隱藏狀態輸出。如果為離散，則返回未去噪潛在畫素的機率分佈。
Transformer2DModel 的輸出。