Diffusers 文件
AutoencoderKLHunyuanVideo
並獲得增強的文件體驗
開始使用
AutoencoderKLHunyuanVideo
在 HunyuanVideo 中使用的帶 KL 損失的 3D 變分自編碼器 (VAE) 模型，由騰訊在 HunyuanVideo: A Systematic Framework For Large Video Generative Models 中介紹。
該模型可以透過以下程式碼片段載入。
from diffusers import AutoencoderKLHunyuanVideo
vae = AutoencoderKLHunyuanVideo.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="vae", torch_dtype=torch.float16)AutoencoderKLHunyuanVideo
class diffusers.AutoencoderKLHunyuanVideo
< 源 >( in_channels: int = 3 out_channels: int = 3 latent_channels: int = 16 down_block_types: typing.Tuple[str, ...] = ('HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D') up_block_types: typing.Tuple[str, ...] = ('HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D') block_out_channels: typing.Tuple[int] = (128, 256, 512, 512) layers_per_block: int = 2 act_fn: str = 'silu' norm_num_groups: int = 32 scaling_factor: float = 0.476986 spatial_compression_ratio: int = 8 temporal_compression_ratio: int = 4 mid_block_add_attention: bool = True )
一個 VAE 模型，帶有 KL 損失，用於將影片編碼為潛在空間，並將潛在表示解碼為影片。在 HunyuanVideo 中引入。
此模型繼承自 ModelMixin。有關所有模型實現的通用方法（如下載或儲存），請參閱超類文件。
停用切片 VAE 解碼。如果之前啟用了 enable_slicing，此方法將恢復一步計算解碼。
停用平鋪 VAE 解碼。如果之前啟用了 enable_tiling，此方法將恢復一步計算解碼。
啟用切片 VAE 解碼。啟用此選項後，VAE 會將輸入張量分片，分步計算解碼。這有助於節省一些記憶體並允許更大的批次大小。
啟用分塊
< 源 >( tile_sample_min_height: typing.Optional[int] = None tile_sample_min_width: typing.Optional[int] = None tile_sample_min_num_frames: typing.Optional[int] = None tile_sample_stride_height: typing.Optional[float] = None tile_sample_stride_width: typing.Optional[float] = None tile_sample_stride_num_frames: typing.Optional[float] = None )
引數
- tile_sample_min_height (
int, 可選) — 樣本在高度維度上被分割成平鋪塊所需的最小高度。 - tile_sample_min_width (
int, 可選) — 樣本在寬度維度上被分割成平鋪塊所需的最小寬度。 - tile_sample_min_num_frames (
int, 可選) — 樣本在幀維度上被分割成平鋪塊所需的最小幀數。 - tile_sample_stride_height (
int, 可選) — 兩個連續垂直平鋪塊之間的最小重疊量。這是為了確保在高度維度上不產生平鋪偽影。 - tile_sample_stride_width (
int, 可選) — 兩個連續水平平鋪塊之間的最小重疊量。這是為了確保在寬度維度上不產生平鋪偽影。 - tile_sample_stride_num_frames (
int, 可選) — 兩個連續幀平鋪塊之間的步幅。這是為了確保在幀維度上不產生平鋪偽影。
啟用平鋪 VAE 解碼。啟用此選項後，VAE 將把輸入張量分割成瓦片，分多步計算編碼和解碼。這對於節省大量記憶體和處理更大的影像非常有用。
前向
< 源 >( sample: Tensor sample_posterior: bool = False return_dict: bool = True generator: typing.Optional[torch._C.Generator] = None )
分塊解碼
< 源 >( z: Tensor return_dict: bool = True ) → ~models.vae.DecoderOutput 或 tuple
使用分塊解碼器解碼一批影像。
使用分塊編碼器編碼一批影像。
DecoderOutput
class diffusers.models.autoencoders.vae.DecoderOutput
< 源 >( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )
解碼方法的輸出。