Diffusers 文件

AutoencoderKLMagvit

Diffusers

加入 Hugging Face 社群

並獲得增強的文件體驗

在模型、資料集和 Spaces 上進行協作

透過加速推理獲得更快的示例

切換文件主題

開始使用

AutoencoderKLMagvit

阿里巴巴 PAI 推出了用於 EasyAnimate 的具有 KL 損失的 3D 變分自編碼器 (VAE) 模型。

該模型可以透過以下程式碼片段載入。

from diffusers import AutoencoderKLMagvit

vae = AutoencoderKLMagvit.from_pretrained("alibaba-pai/EasyAnimateV5.1-12b-zh", subfolder="vae", torch_dtype=torch.float16).to("cuda")

AutoencoderKLMagvit

class diffusers.AutoencoderKLMagvit

< 來源 >

( in_channels: int = 3 latent_channels: int = 16 out_channels: int = 3 block_out_channels: typing.Tuple[int, ...] = [128, 256, 512, 512] down_block_types: typing.Tuple[str, ...] = ['SpatialDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D'] up_block_types: typing.Tuple[str, ...] = ['SpatialUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D'] layers_per_block: int = 2 act_fn: str = 'silu' norm_num_groups: int = 32 scaling_factor: float = 0.7125 spatial_group_norm: bool = True )

一個帶有 KL 損失的 VAE 模型，用於將影像編碼為潛在表示，並將潛在表示解碼為影像。該模型用於 EasyAnimate。

此模型繼承自 ModelMixin。有關所有模型實現的通用方法（如下載或儲存），請參閱超類文件。

包裝器

< 來源 >

( *args **kwargs )

包裝器

< 來源 >

( *args **kwargs )

disable_slicing

< 來源 >

( )

停用切片 VAE 解碼。如果之前啟用了 enable_slicing，此方法將恢復一步計算解碼。

disable_tiling

< 來源 >

( )

停用平鋪 VAE 解碼。如果之前啟用了 enable_tiling，此方法將恢復一步計算解碼。

enable_slicing

< 來源 >

( )

啟用切片 VAE 解碼。啟用此選項後，VAE 會將輸入張量分片，分步計算解碼。這有助於節省一些記憶體並允許更大的批次大小。

enable_tiling

< 來源 >

( tile_sample_min_height: typing.Optional[int] = None tile_sample_min_width: typing.Optional[int] = None tile_sample_min_num_frames: typing.Optional[int] = None tile_sample_stride_height: typing.Optional[float] = None tile_sample_stride_width: typing.Optional[float] = None tile_sample_stride_num_frames: typing.Optional[float] = None )

引數

tile_sample_min_height (int, 可選) — 樣本在高度維度上被分割成瓦片所需的最小高度。
tile_sample_min_width (int, 可選) — 樣本在寬度維度上被分割成瓦片所需的最小寬度。
tile_sample_stride_height (int, 可選) — 兩個連續垂直瓦片之間的最小重疊量。這是為了確保在高度維度上不會產生瓦片偽影。
tile_sample_stride_width (int, 可選) — 兩個連續水平瓦片之間的步幅。這是為了確保在寬度維度上不會產生瓦片偽影。

啟用平鋪 VAE 解碼。啟用此選項後，VAE 將把輸入張量分割成瓦片，分多步計算編碼和解碼。這對於節省大量記憶體和處理更大的影像非常有用。

forward

< 來源 >

( sample: Tensor sample_posterior: bool = False return_dict: bool = True generator: typing.Optional[torch._C.Generator] = None )

引數

sample (torch.Tensor) — 輸入樣本。
sample_posterior (bool, 可選，預設為 False) — 是否從後驗分佈中取樣。
return_dict (bool, 可選，預設為 True) — 是否返回 DecoderOutput 而不是純元組。

AutoencoderKLOutput

class diffusers.models.modeling_outputs.AutoencoderKLOutput

< 來源 >

( latent_dist: DiagonalGaussianDistribution )

引數

latent_dist (DiagonalGaussianDistribution) — Encoder 的編碼輸出，表示為 DiagonalGaussianDistribution 的均值和對數方差。DiagonalGaussianDistribution 允許從分佈中取樣潛在變數。

AutoencoderKL 編碼方法的輸出。

DecoderOutput

class diffusers.models.autoencoders.vae.DecoderOutput

< 來源 >

( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )

引數

sample (形狀為 (batch_size, num_channels, height, width) 的 torch.Tensor) — 模型最後一層解碼後的輸出樣本。

解碼方法的輸出。

< > 在 GitHub 上更新

←AutoencoderKLLTXVideo AutoencoderKLMochi→