Hugging Face 的 LOGO

Diffusers 文件

UNetMotionModel

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

UNetMotionModel

UNet 模型最初由 Ronneberger 等人提出，用於生物醫學影像分割，但它也常用於 🤗 Diffusers，因為它輸出的影像大小與輸入相同。它是擴散系統最重要的元件之一，因為它促進了實際的擴散過程。在 🤗 Diffusers 中有幾種 UNet 模型的變體，具體取決於其維度數量以及是否是條件模型。這是一個 2D UNet 模型。

論文摘要如下：

人們普遍認為，成功訓練深度網路需要數千個帶註釋的訓練樣本。在本文中，我們提出了一種網路和訓練策略，它強烈依賴於資料增強，以更有效地利用可用的帶註釋樣本。該架構包括一個收縮路徑用於捕獲上下文，以及一個對稱的擴充套件路徑，可實現精確的定位。我們證明，這種網路可以透過極少的影像進行端到端訓練，並在 ISBI 挑戰賽中超越了先前最好的方法（滑動視窗卷積網路），用於電子顯微鏡堆疊中神經元結構的分割。使用在透射光顯微鏡影像（相襯和 DIC）上訓練的相同網路，我們在 2015 年 ISBI 細胞追蹤挑戰賽的這些類別中以大幅優勢獲勝。此外，該網路速度很快。在最近的 GPU 上分割 512x512 影像所需時間不到一秒。完整的實現（基於 Caffe）和訓練好的網路可在 http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net 獲取。

UNetMotionModel

class diffusers.UNetMotionModel

< >

( sample_size: typing.Optional[int] = None in_channels: int = 4 out_channels: int = 4 down_block_types: typing.Tuple[str, ...] = ('CrossAttnDownBlockMotion', 'CrossAttnDownBlockMotion', 'CrossAttnDownBlockMotion', 'DownBlockMotion') up_block_types: typing.Tuple[str, ...] = ('UpBlockMotion', 'CrossAttnUpBlockMotion', 'CrossAttnUpBlockMotion', 'CrossAttnUpBlockMotion') block_out_channels: typing.Tuple[int, ...] = (320, 640, 1280, 1280) layers_per_block: typing.Union[int, typing.Tuple[int]] = 2 downsample_padding: int = 1 mid_block_scale_factor: float = 1 act_fn: str = 'silu' norm_num_groups: int = 32 norm_eps: float = 1e-05 cross_attention_dim: int = 1280 transformer_layers_per_block: typing.Union[int, typing.Tuple[int], typing.Tuple[typing.Tuple]] = 1 reverse_transformer_layers_per_block: typing.Union[int, typing.Tuple[int], typing.Tuple[typing.Tuple], NoneType] = None temporal_transformer_layers_per_block: typing.Union[int, typing.Tuple[int], typing.Tuple[typing.Tuple]] = 1 reverse_temporal_transformer_layers_per_block: typing.Union[int, typing.Tuple[int], typing.Tuple[typing.Tuple], NoneType] = None transformer_layers_per_mid_block: typing.Union[int, typing.Tuple[int], NoneType] = None temporal_transformer_layers_per_mid_block: typing.Union[int, typing.Tuple[int], NoneType] = 1 use_linear_projection: bool = False num_attention_heads: typing.Union[int, typing.Tuple[int, ...]] = 8 motion_max_seq_length: int = 32 motion_num_attention_heads: typing.Union[int, typing.Tuple[int, ...]] = 8 reverse_motion_num_attention_heads: typing.Union[int, typing.Tuple[int, ...], typing.Tuple[typing.Tuple[int, ...], ...], NoneType] = None use_motion_mid_block: bool = True mid_block_layers: int = 1 encoder_hid_dim: typing.Optional[int] = None encoder_hid_dim_type: typing.Optional[str] = None addition_embed_type: typing.Optional[str] = None addition_time_embed_dim: typing.Optional[int] = None projection_class_embeddings_input_dim: typing.Optional[int] = None time_cond_proj_dim: typing.Optional[int] = None )

一個經過修改的條件 2D UNet 模型，它接受一個帶噪聲的樣本、條件狀態和一個時間步長，並返回一個樣本形狀的輸出。

此模型繼承自 ModelMixin。有關所有模型實現的通用方法（如下載或儲存），請參閱超類文件。

disable_freeu

< >

( )

停用 FreeU 機制。

啟用前向分塊

< >

( chunk_size: typing.Optional[int] = None dim: int = 0 )

引數

  • chunk_size (int, 可選) — 前饋層的塊大小。如果未指定，將對 dim 維度的每個張量單獨執行前饋層。
  • dim (int, 可選, 預設為 0) — 應該分塊進行前饋計算的維度。在 dim=0 (批次) 或 dim=1 (序列長度) 之間選擇。

設定注意力處理器以使用分塊前饋層。

enable_freeu

< >

( s1: float s2: float b1: float b2: float )

引數

  • s1 (float) — 階段 1 的縮放因子，用於衰減跳躍特徵的貢獻。這樣做是為了減輕增強去噪過程中的“過度平滑效應”。
  • s2 (float) — 階段 2 的縮放因子，用於衰減跳躍特徵的貢獻。這樣做是為了減輕增強去噪過程中的“過度平滑效應”。
  • b1 (float) — 階段 1 的縮放因子，用於增強骨幹特徵的貢獻。
  • b2 (float) — 階段 2 的縮放因子，用於增強骨幹特徵的貢獻。

啟用來自 https://huggingface.co/papers/2309.11497 的 FreeU 機制。

縮放因子後面的字尾表示它們正在應用的階段塊。

請參閱官方倉庫，瞭解適用於 Stable Diffusion v1、v2 和 Stable Diffusion XL 等不同管道的已知良好值組合。

forward

< >

( sample: Tensor timestep: typing.Union[torch.Tensor, float, int] encoder_hidden_states: Tensor timestep_cond: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None added_cond_kwargs: typing.Optional[typing.Dict[str, torch.Tensor]] = None down_block_additional_residuals: typing.Optional[typing.Tuple[torch.Tensor]] = None mid_block_additional_residual: typing.Optional[torch.Tensor] = None return_dict: bool = True ) → UNetMotionOutput 或 tuple

引數

  • sample (torch.Tensor) — 形狀為 (batch, num_frames, channel, height, width) 的帶噪聲輸入張量。
  • timestep (torch.Tensor 或 float 或 int) — 去噪輸入的時間步數。
  • encoder_hidden_states (torch.Tensor) — 形狀為 (batch, sequence_length, feature_dim) 的編碼器隱藏狀態。
  • timestep_cond — (torch.Tensor, 可選, 預設為 None): 時間步長的條件嵌入。如果提供，嵌入將與透過 self.time_embedding 層傳遞的樣本相加，以獲得時間步長嵌入。
  • attention_mask (torch.Tensor, 可選, 預設為 None) — 形狀為 (batch, key_tokens) 的注意力掩碼應用於 encoder_hidden_states。如果為 1，則保留掩碼，否則如果為 0，則丟棄。掩碼將轉換為偏差，這會向對應於“丟棄”token 的注意力分數新增大的負值。
  • cross_attention_kwargs (dict, 可選) — 一個 kwargs 字典，如果指定，將傳遞給 self.processor 中定義的 AttentionProcessor，如 diffusers.models.attention_processor 所述。
  • down_block_additional_residuals — (tuple of torch.Tensor, 可選): 一個張量元組，如果指定，則新增到下層 unet 塊的殘差中。
  • mid_block_additional_residual — (torch.Tensor, 可選): 一個張量，如果指定，則新增到中間 unet 塊的殘差中。
  • return_dict (bool, 可選, 預設為 True) — 是否返回 UNetMotionOutput 而不是普通元組。

返回

UNetMotionOutput 或 tuple

如果 return_dict 為 True，則返回 UNetMotionOutput；否則，返回一個 tuple，其中第一個元素是樣本張量。

UNetMotionModel 前向方法。

freeze_unet2d_params

< >

( )

凍結僅 UNet2DConditionModel 的權重，並解凍運動模組以進行微調。

融合 qkv 投影

< >

( )

啟用融合 QKV 投影。對於自注意力模組，所有投影矩陣（即查詢、鍵、值）都將融合。對於交叉注意力模組，鍵和值投影矩陣將融合。

此 API 是 🧪 實驗性的。

設定注意力處理器

< >

( processor: typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor, typing.Dict[str, typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]] )

引數

  • processor (AttentionProcessor 字典或僅 AttentionProcessor) — 將設定為**所有** Attention 層的處理器例項化的處理器類或處理器類字典。

    如果 processor 是一個字典，則鍵需要定義到相應交叉注意力處理器的路徑。強烈建議在設定可訓練注意力處理器時這樣做。

設定用於計算注意力的注意力處理器。

set_default_attn_processor

< >

( )

停用自定義注意力處理器並設定預設注意力實現。

unfuse_qkv_projections

< >

( )

如果啟用了，則停用融合的 QKV 投影。

此 API 是 🧪 實驗性的。

UNet3DConditionOutput

class diffusers.models.unets.unet_3d_condition.UNet3DConditionOutput

< >

( sample: Tensor )

引數

  • sample (形狀為 (batch_size, num_channels, num_frames, height, width) 的 torch.Tensor) — 條件於 encoder_hidden_states 輸入的隱藏狀態輸出。模型最後一層的輸出。

UNet3DConditionModel 的輸出。

< > 在 GitHub 上更新

←UNet3DConditionModel UViT2DModel→
© . This site is unofficial and not affiliated with Hugging Face, Inc.