Diffusers 文件
AutoencoderKLCogVideoX
並獲得增強的文件體驗
開始使用
AutoencoderKLCogVideoX
CogVideoX 中使用的 3D 變分自編碼器（VAE）模型（帶 KL 損失）由清華大學和智譜AI在 CogVideoX: 帶有專家 Transformer 的文字到影片擴散模型中引入。
該模型可以透過以下程式碼片段載入。
from diffusers import AutoencoderKLCogVideoX
vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-2b", subfolder="vae", torch_dtype=torch.float16).to("cuda")AutoencoderKLCogVideoX
類 diffusers.AutoencoderKLCogVideoX
< 源 >( in_channels: int = 3 out_channels: int = 3 down_block_types: typing.Tuple[str] = ('CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D') up_block_types: typing.Tuple[str] = ('CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D') block_out_channels: typing.Tuple[int] = (128, 256, 256, 512) latent_channels: int = 16 layers_per_block: int = 3 act_fn: str = 'silu' norm_eps: float = 1e-06 norm_num_groups: int = 32 temporal_compression_ratio: float = 4 sample_height: int = 480 sample_width: int = 720 scaling_factor: float = 1.15258426 shift_factor: typing.Optional[float] = None latents_mean: typing.Optional[typing.Tuple[float]] = None latents_std: typing.Optional[typing.Tuple[float]] = None force_upcast: float = True use_quant_conv: bool = False use_post_quant_conv: bool = False invert_scale_latents: bool = False )
引數
- in_channels (整數, 可選, 預設為 3) — 輸入影像中的通道數。
- out_channels (整數, 可選, 預設為 3) — 輸出中的通道數。
- down_block_types (
Tuple[str], 可選, 預設為("DownEncoderBlock2D",)) — 下采樣塊型別的元組。 - up_block_types (
Tuple[str], 可選, 預設為("UpDecoderBlock2D",)) — 上取樣塊型別的元組。 - block_out_channels (
Tuple[int], 可選, 預設為(64,)) — 塊輸出通道的元組。 - act_fn (
str, 可選, 預設為"silu") — 要使用的啟用函式。 - sample_size (
int, 可選, 預設為32) — 樣本輸入大小。 - scaling_factor (
float, 可選, 預設為1.15258426) — 使用訓練集的第一批資料計算出的訓練後潛在空間的逐分量標準差。這用於在訓練擴散模型時將潛在空間縮放到單位方差。在傳遞給擴散模型之前，潛在值透過公式z = z * scaling_factor進行縮放。解碼時，潛在值透過公式z = 1 / scaling_factor * z縮放回原始比例。有關更多詳細資訊，請參閱 《高解析度影像合成與潛在擴散模型》論文的第 4.3.2 節和附錄 D.1。 - force_upcast (
bool, 可選, 預設為True) — 如果啟用，將強制 VAE 以 float32 執行高解析度影像管道（例如 SD-XL）。VAE 可以微調/訓練到較低範圍而不會損失太多精度，在這種情況下force_upcast可以設定為False- 請參閱： https://huggingface.co/madebyollin/sdxl-vae-fp16-fix
用於將影像編碼為潛在值並將潛在表示解碼為影像的帶有 KL 損失的 VAE 模型。在 CogVideoX 中使用。
此模型繼承自 ModelMixin。有關所有模型實現的通用方法（如下載或儲存），請參閱超類文件。
停用切片 VAE 解碼。如果之前啟用了 enable_slicing，此方法將恢復一步計算解碼。
停用平鋪 VAE 解碼。如果之前啟用了 enable_tiling，此方法將恢復一步計算解碼。
啟用切片 VAE 解碼。啟用此選項後，VAE 會將輸入張量分片，分步計算解碼。這有助於節省一些記憶體並允許更大的批次大小。
enable_tiling
< 源 >( tile_sample_min_height: typing.Optional[int] = None tile_sample_min_width: typing.Optional[int] = None tile_overlap_factor_height: typing.Optional[float] = None tile_overlap_factor_width: typing.Optional[float] = None )
引數
- tile_sample_min_height (
int, 可選) — 樣本在高度維度上被分割成平鋪所需的最小高度。 - tile_sample_min_width (
int, 可選) — 樣本在寬度維度上被分割成平鋪所需的最小寬度。 - tile_overlap_factor_height (
int, 可選) — 兩個連續垂直平鋪之間的最小重疊量。這旨在確保在高度維度上不會產生平鋪偽影。必須在 0 到 1 之間。設定更高的值可能會導致處理更多平鋪，從而減慢解碼過程。 - tile_overlap_factor_width (
int, 可選) — 兩個連續水平平鋪之間的最小重疊量。這旨在確保在寬度維度上不會產生平鋪偽影。必須在 0 到 1 之間。設定更高的值可能會導致處理更多平鋪，從而減慢解碼過程。
啟用平鋪 VAE 解碼。啟用此選項後，VAE 將把輸入張量分割成瓦片，分多步計算編碼和解碼。這對於節省大量記憶體和處理更大的影像非常有用。
分塊解碼
< 源 >( z: Tensor return_dict: bool = True ) → ~models.vae.DecoderOutput 或 元組
使用分塊解碼器解碼一批影像。
使用分塊編碼器編碼一批影像。
啟用此選項後，VAE 會將輸入張量分割成平鋪，以分多個步驟計算編碼。這對於保持記憶體使用量與影像大小無關非常有用。平鋪編碼的最終結果與非平鋪編碼不同，因為每個平鋪都使用不同的編碼器。為了避免平鋪偽影，平鋪會重疊並混合在一起以形成平滑的輸出。您可能仍然會看到輸出中平鋪大小的變化，但它們應該不太明顯。
AutoencoderKLOutput
類 diffusers.models.modeling_outputs.AutoencoderKLOutput
< 源 >( latent_dist: DiagonalGaussianDistribution )
AutoencoderKL 編碼方法的輸出。
DecoderOutput
類 diffusers.models.autoencoders.vae.DecoderOutput
< 源 >( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )
解碼方法的輸出。