Hugging Face 的 LOGO

Diffusers 文件

ControlNetUnion

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

ControlNetUnion

LoRA

ControlNetUnionModel 是 Stable Diffusion XL 的 ControlNet 實現。

ControlNet 模型由 xinsir6 在 ControlNetPlus 中引入。它支援多個條件輸入，而不會增加計算量。

我們設計了一種新架構，可以在條件文字到影像生成中支援 10 種以上的控制型別，並能生成在視覺上與 Midjourney 相媲美的高解析度影像。該網路基於原始 ControlNet 架構，我們提出了兩個新模組：1. 擴充套件原始 ControlNet 以支援使用相同網路引數的不同影像條件。2. 支援多個條件輸入而不會增加計算解除安裝，這對於想要詳細編輯影像的設計師來說尤其重要，不同的條件使用相同的條件編碼器，無需額外計算或引數。

StableDiffusionXLControlNetUnionPipeline

類 diffusers.StableDiffusionXLControlNetUnionPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel controlnet: typing.Union[diffusers.models.controlnets.controlnet_union.ControlNetUnionModel, typing.List[diffusers.models.controlnets.controlnet_union.ControlNetUnionModel], typing.Tuple[diffusers.models.controlnets.controlnet_union.ControlNetUnionModel], diffusers.models.controlnets.multicontrolnet_union.MultiControlNetUnionModel] scheduler: KarrasDiffusionSchedulers force_zeros_for_empty_prompt: bool = True add_watermarker: typing.Optional[bool] = None feature_extractor: CLIPImageProcessor = None image_encoder: CLIPVisionModelWithProjection = None )

引數

使用 Stable Diffusion XL 和 ControlNet 指導的文字到影像生成流水線。

此模型繼承自 DiffusionPipeline。有關所有管道實現的通用方法（下載、儲存、在特定裝置上執行等），請查閱超類文件。

該管道還繼承了以下載入方法

__call__

< >

( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None control_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], typing.List[typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]]]] = None height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 timesteps: typing.List[int] = None sigmas: typing.List[float] = None denoising_end: typing.Optional[float] = None guidance_scale: float = 5.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None controlnet_conditioning_scale: typing.Union[float, typing.List[float]] = 1.0 guess_mode: bool = False control_guidance_start: typing.Union[float, typing.List[float]] = 0.0 control_guidance_end: typing.Union[float, typing.List[float]] = 1.0 control_mode: typing.Union[int, typing.List[int], typing.List[typing.List[int]], NoneType] = None original_size: typing.Tuple[int, int] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) target_size: typing.Tuple[int, int] = None negative_original_size: typing.Optional[typing.Tuple[int, int]] = None negative_crops_coords_top_left: typing.Tuple[int, int] = (0, 0) negative_target_size: typing.Optional[typing.Tuple[int, int]] = None clip_skip: typing.Optional[int] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] ) → StableDiffusionPipelineOutput 或 tuple

引數

  • prompt (str 或 List[str], 可選) — 用於引導影像生成的提示詞。如果未定義，則需要傳入 prompt_embeds。
  • prompt_2 (str 或 List[str], 可選) — 傳送給 tokenizer_2 和 text_encoder_2 的提示詞。如果未定義，則在兩個文字編碼器中都使用 prompt。
  • control_image (PipelineImageInput 或 List[PipelineImageInput], 可選) — ControlNet 輸入條件，用於為 unet 提供生成指導。如果型別指定為 torch.Tensor，則直接傳遞給 ControlNet。PIL.Image.Image 也可以作為影像接受。輸出影像的尺寸預設為 image 的尺寸。如果傳入 height 和/或 width，則 image 會相應地調整大小。如果在 init 中指定了多個 ControlNet，則影像必須作為列表傳遞，以便列表的每個元素可以正確地批次輸入到單個 ControlNet。
  • height (int, 可選, 預設為 self.unet.config.sample_size * self.vae_scale_factor) — 生成影像的畫素高度。低於 512 畫素的影像對於 stabilityai/stable-diffusion-xl-base-1.0 以及未專門針對低解析度進行微調的檢查點效果不佳。
  • width (int, 可選, 預設為 self.unet.config.sample_size * self.vae_scale_factor) — 生成影像的畫素寬度。低於 512 畫素的影像對於 stabilityai/stable-diffusion-xl-base-1.0 以及未專門針對低解析度進行微調的檢查點效果不佳。
  • num_inference_steps (int, 可選, 預設為 50) — 去噪步數。更多的去噪步數通常會帶來更高質量的影像，但推理速度會變慢。
  • timesteps (List[int], 可選) — 用於去噪過程的自定義時間步，適用於其 set_timesteps 方法支援 timesteps 引數的排程器。如果未定義，將使用傳入 num_inference_steps 時的預設行為。必須按降序排列。
  • sigmas (List[float], 可選) — 用於去噪過程的自定義 sigmas，適用於其 set_timesteps 方法支援 sigmas 引數的排程器。如果未定義，將使用傳入 num_inference_steps 時的預設行為。
  • denoising_end (float, 可選) — 指定時，確定在有意提前終止之前完成的總去噪過程的分數（介於 0.0 和 1.0 之間）。因此，返回的樣本仍將保留由排程器選擇的離散時間步所確定的相當數量的噪聲。denoising_end 引數應在管道作為“去噪器混合”多管道設定的一部分時理想地使用，如精煉影像輸出中所詳述。
  • guidance_scale (float, 可選, 預設為 5.0) — 較高的引導比例值鼓勵模型生成與文字 prompt 密切相關的影像，但會犧牲較低的影像質量。當 guidance_scale > 1 時啟用引導比例。
  • negative_prompt (str 或 List[str], 可選) — 用於指導影像生成中不包含內容的提示。如果未定義，則需要傳入 negative_prompt_embeds。當不使用引導時 (guidance_scale < 1) 忽略。
  • negative_prompt_2 (str 或 List[str], 可選) — 用於指導影像生成中不包含內容的提示。此提示將傳送給 tokenizer_2 和 text_encoder_2。如果未定義，negative_prompt 將在兩個文字編碼器中使用。
  • num_images_per_prompt (int, 可選, 預設為 1) — 每個提示生成的影像數量。
  • eta (float, 可選, 預設為 0.0) — 對應於 DDIM 論文中的引數 eta (η)。僅適用於 DDIMScheduler，在其他排程器中忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可選) — 用於使生成具有確定性的 torch.Generator。
  • latents (torch.Tensor, 可選) — 從高斯分佈取樣的預生成噪聲潛在變數，用作影像生成的輸入。可用於使用不同提示微調相同的生成。如果未提供，將使用提供的隨機 generator 取樣生成潛在張量。
  • prompt_embeds (torch.Tensor, 可選) — 預生成的文字嵌入。可用於輕鬆調整文字輸入（提示權重）。如果未提供，文字嵌入將從 prompt 輸入引數生成。
  • negative_prompt_embeds (torch.Tensor, 可選) — 預生成的負文字嵌入。可用於輕鬆調整文字輸入（提示權重）。如果未提供，negative_prompt_embeds 將從 negative_prompt 輸入引數生成。
  • pooled_prompt_embeds (torch.Tensor, 可選) — 預生成的池化文字嵌入。可用於輕鬆調整文字輸入（提示權重）。如果未提供，池化文字嵌入將從 prompt 輸入引數生成。
  • negative_pooled_prompt_embeds (torch.Tensor, 可選) — 預生成的負池化文字嵌入。可用於輕鬆調整文字輸入（提示權重）。如果未提供，池化 negative_prompt_embeds 將從 negative_prompt 輸入引數生成。
  • ip_adapter_image — (PipelineImageInput, 可選): 用於 IP Adapters 的可選影像輸入。
  • ip_adapter_image_embeds (List[torch.Tensor], 可選) — IP-Adapter 的預生成影像嵌入。它應該是一個列表，長度與 IP-Adapter 的數量相同。每個元素應該是一個形狀為 (batch_size, num_images, emb_dim) 的張量。如果 do_classifier_free_guidance 設定為 True，它應該包含負影像嵌入。如果未提供，嵌入將從 ip_adapter_image 輸入引數計算。
  • output_type (str, 可選, 預設為 "pil") — 生成影像的輸出格式。選擇 PIL.Image 或 np.array。
  • return_dict (bool, 可選, 預設為 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元組。
  • cross_attention_kwargs (dict, 可選) — 一個 kwargs 字典，如果指定，將作為 self.processor 中定義的 AttentionProcessor 的引數傳入。
  • controlnet_conditioning_scale (float 或 List[float], 可選, 預設為 1.0) — ControlNet 的輸出乘以 controlnet_conditioning_scale 後再新增到原始 unet 中的殘差。如果 init 中指定了多個 ControlNet，則可以將其相應的比例設定為列表。
  • guess_mode (bool, 可選, 預設為 False) — 即使您刪除所有提示，ControlNet 編碼器也會嘗試識別輸入影像的內容。建議 guidance_scale 值在 3.0 到 5.0 之間。
  • control_guidance_start (float 或 List[float], 可選, 預設為 0.0) — ControlNet 開始應用的步數總百分比。
  • control_guidance_end (float 或 List[float], 可選, 預設為 1.0) — ControlNet 停止應用的步數總百分比。
  • control_mode (int 或 List[int] 或 List[List[int]], 可選) — ControlNet 的控制條件型別。有關可用控制模式的資訊，請參閱 ControlNet 的模型卡。如果在 init 中指定了多個 ControlNet，則 control_mode 應該是一個列表，其中每個 ControlNet 都有其相應的控制模式列表。應反映 control_image 中條件的順序。
  • original_size (Tuple[int], 可選, 預設為 (1024, 1024)) — 如果 original_size 與 target_size 不同，影像將顯示為下采樣或上取樣。如果未指定，original_size 預設為 (height, width)。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 第 2.2 節所述。
  • crops_coords_top_left (Tuple[int], 可選, 預設為 (0, 0)) — crops_coords_top_left 可用於生成從 crops_coords_top_left 位置向下“裁剪”的影像。透過將 crops_coords_top_left 設定為 (0, 0) 通常可以獲得令人滿意、居中的影像。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 第 2.2 節所述。
  • target_size (Tuple[int], 可選, 預設為 (1024, 1024)) — 在大多數情況下，target_size 應設定為生成影像的所需高度和寬度。如果未指定，它將預設為 (height, width)。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 第 2.2 節所述。
  • negative_original_size (Tuple[int], 可選, 預設為 (1024, 1024)) — 根據特定影像解析度對生成過程進行負面條件限制。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 第 2.2 節所述。欲瞭解更多資訊，請參閱此問題討論串： https://github.com/huggingface/diffusers/issues/4208。
  • negative_crops_coords_top_left (Tuple[int], 可選, 預設為 (0, 0)) — 根據特定裁剪座標對生成過程進行負面條件限制。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 第 2.2 節所述。欲瞭解更多資訊，請參閱此問題討論串： https://github.com/huggingface/diffusers/issues/4208。
  • negative_target_size (Tuple[int], 可選, 預設為 (1024, 1024)) — 根據目標影像解析度對生成過程進行負面條件限制。在大多數情況下，它應與 target_size 相同。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 第 2.2 節所述。欲瞭解更多資訊，請參閱此問題討論串： https://github.com/huggingface/diffusers/issues/4208。
  • clip_skip (int, 可選) — 在計算提示嵌入時，從 CLIP 跳過的層數。值為 1 表示將使用倒數第二層的輸出計算提示嵌入。
  • callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可選) — 在推理過程中每次去噪步驟結束時呼叫的函式或 PipelineCallback 或 MultiPipelineCallbacks 的子類，具有以下引數：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 將包含 callback_on_step_end_tensor_inputs 指定的所有張量列表。
  • callback_on_step_end_tensor_inputs (List, 可選) — callback_on_step_end 函式的張量輸入列表。列表中指定的張量將作為 callback_kwargs 引數傳遞。您只能包含管道類 ._callback_tensor_inputs 屬性中列出的變數。

返回

StableDiffusionPipelineOutput 或 tuple

如果 return_dict 為 True，則返回 StableDiffusionPipelineOutput，否則返回包含輸出影像的 tuple。

用於生成的管道的呼叫函式。

示例

>>> # !pip install controlnet_aux
>>> from controlnet_aux import LineartAnimeDetector
>>> from diffusers import StableDiffusionXLControlNetUnionPipeline, ControlNetUnionModel, AutoencoderKL
>>> from diffusers.utils import load_image
>>> import torch

>>> prompt = "A cat"
>>> # download an image
>>> image = load_image(
...     "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/kandinsky/cat.png"
... ).resize((1024, 1024))
>>> # initialize the models and pipeline
>>> controlnet = ControlNetUnionModel.from_pretrained(
...     "xinsir/controlnet-union-sdxl-1.0", torch_dtype=torch.float16
... )
>>> vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
>>> pipe = StableDiffusionXLControlNetUnionPipeline.from_pretrained(
...     "stabilityai/stable-diffusion-xl-base-1.0",
...     controlnet=controlnet,
...     vae=vae,
...     torch_dtype=torch.float16,
...     variant="fp16",
... )
>>> pipe.enable_model_cpu_offload()
>>> # prepare image
>>> processor = LineartAnimeDetector.from_pretrained("lllyasviel/Annotators")
>>> controlnet_img = processor(image, output_type="pil")
>>> # generate image
>>> image = pipe(prompt, control_image=[controlnet_img], control_mode=[3], height=1024, width=1024).images[0]

encode_prompt

< >

( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )

引數

  • prompt (str 或 List[str], 可選) — 待編碼的提示
  • prompt_2 (str 或 List[str], 可選) — 將傳送到 tokenizer_2 和 text_encoder_2 的提示。如果未定義，prompt 將在兩個文字編碼器中使用。
  • device — (torch.device): torch 裝置
  • num_images_per_prompt (int) — 每個提示應生成的影像數量
  • do_classifier_free_guidance (bool) — 是否使用分類器自由引導
  • negative_prompt (str 或 List[str], 可選) — 不用於引導影像生成的提示。如果未定義，則必須傳入 negative_prompt_embeds。當不使用引導時（即，如果 guidance_scale 小於 1 時），此引數將被忽略。
  • negative_prompt_2 (str 或 List[str], 可選) — 不用於引導影像生成的提示，將傳送給 tokenizer_2 和 text_encoder_2。如果未定義，negative_prompt 將在兩個文字編碼器中使用。
  • prompt_embeds (torch.Tensor, 可選) — 預生成的文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，文字嵌入將從 prompt 輸入引數生成。
  • negative_prompt_embeds (torch.Tensor, 可選) — 預生成的負文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，negative_prompt_embeds 將從 negative_prompt 輸入引數生成。
  • pooled_prompt_embeds (torch.Tensor, 可選) — 預生成的池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，池化文字嵌入將從 prompt 輸入引數生成。
  • negative_pooled_prompt_embeds (torch.Tensor, 可選) — 預生成的負池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，池化 negative_prompt_embeds 將從 negative_prompt 輸入引數生成。
  • lora_scale (float, 可選) — 將應用於文字編碼器所有 LoRA 層的 LoRA 比例（如果 LoRA 層已載入）。
  • clip_skip (int, 可選) — 計算提示嵌入時要跳過的 CLIP 層數。值為 1 表示將使用倒數第二層的輸出計算提示嵌入。

將提示編碼為文字編碼器隱藏狀態。

get_guidance_scale_embedding

< >

( w: Tensor embedding_dim: int = 512 dtype: dtype = torch.float32 ) → torch.Tensor

引數

  • w (torch.Tensor) — 生成具有指定引導尺度的嵌入向量，以便隨後豐富時間步嵌入。
  • embedding_dim (int, 可選, 預設為 512) — 要生成的嵌入的維度。
  • dtype (torch.dtype, 可選, 預設為 torch.float32) — 生成嵌入的資料型別。

返回

torch.Tensor

形狀為 (len(w), embedding_dim) 的嵌入向量。

請參閱 https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298

StableDiffusionXLControlNetUnionImg2ImgPipeline

class diffusers.StableDiffusionXLControlNetUnionImg2ImgPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel controlnet: ControlNetUnionModel scheduler: KarrasDiffusionSchedulers requires_aesthetics_score: bool = False force_zeros_for_empty_prompt: bool = True add_watermarker: typing.Optional[bool] = None feature_extractor: CLIPImageProcessor = None image_encoder: CLIPVisionModelWithProjection = None )

引數

  • vae (AutoencoderKL) — 用於將影像編碼和解碼為潛在表示的變分自編碼器 (VAE) 模型。
  • text_encoder (CLIPTextModel) — 凍結的文字編碼器。Stable Diffusion 使用 CLIP 的文字部分，特別是 clip-vit-large-patch14 變體。
  • text_encoder_2 ( CLIPTextModelWithProjection) — 第二個凍結的文字編碼器。Stable Diffusion XL 使用 CLIP 的文字和池化部分，特別是 laion/CLIP-ViT-bigG-14-laion2B-39B-b160k 變體。
  • tokenizer (CLIPTokenizer) — CLIPTokenizer 類的分詞器。
  • tokenizer_2 (CLIPTokenizer) — CLIPTokenizer 類的第二個分詞器。
  • unet (UNet2DConditionModel) — 用於對編碼影像潛在表示進行去噪的條件 U-Net 架構。
  • controlnet (ControlNetUnionModel) — 在去噪過程中為 unet 提供額外的條件。
  • scheduler (SchedulerMixin) — 與 unet 結合使用的排程器，用於對編碼影像潛在表示進行去噪。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。
  • requires_aesthetics_score (bool, 可選, 預設為 "False") — unet 是否需要在推理期間傳遞 aesthetic_score 條件。另請參閱 stabilityai/stable-diffusion-xl-refiner-1-0 的配置。
  • force_zeros_for_empty_prompt (bool, 可選, 預設為 "True") — 是否強制將負面提示嵌入始終設定為 0。另請參閱 stabilityai/stable-diffusion-xl-base-1-0 的配置。
  • add_watermarker (bool, 可選) — 是否使用 invisible_watermark 庫 為輸出影像新增水印。如果未定義，如果包已安裝，則預設為 True，否則不使用水印。
  • feature_extractor (CLIPImageProcessor) — 用於從生成的影像中提取特徵的 CLIPImageProcessor；用作 safety_checker 的輸入。

使用 Stable Diffusion XL 和 ControlNet 引導的影像到影像生成管道。

此模型繼承自 DiffusionPipeline。有關庫為所有管道實現的通用方法（例如下載或儲存、在特定裝置上執行等），請檢視超類文件。

該管道還繼承了以下載入方法

__call__

< >

( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None control_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None height: typing.Optional[int] = None width: typing.Optional[int] = None strength: float = 0.8 num_inference_steps: int = 50 guidance_scale: float = 5.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None controlnet_conditioning_scale: typing.Union[float, typing.List[float]] = 0.8 guess_mode: bool = False control_guidance_start: typing.Union[float, typing.List[float]] = 0.0 control_guidance_end: typing.Union[float, typing.List[float]] = 1.0 control_mode: typing.Union[int, typing.List[int], NoneType] = None original_size: typing.Tuple[int, int] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) target_size: typing.Tuple[int, int] = None negative_original_size: typing.Optional[typing.Tuple[int, int]] = None negative_crops_coords_top_left: typing.Tuple[int, int] = (0, 0) negative_target_size: typing.Optional[typing.Tuple[int, int]] = None aesthetic_score: float = 6.0 negative_aesthetic_score: float = 2.5 clip_skip: typing.Optional[int] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] **kwargs ) → StableDiffusionPipelineOutput 或 tuple

引數

  • prompt (str 或 List[str], 可選) — 用於引導影像生成的提示或多個提示。如果未定義，則必須傳入 prompt_embeds。
  • prompt_2 (str 或 List[str], 可選) — 要傳送到 tokenizer_2 和 text_encoder_2 的提示或多個提示。如果未定義，則在兩個文字編碼器中都使用 prompt。
  • image (torch.Tensor, PIL.Image.Image, np.ndarray, List[torch.Tensor], List[PIL.Image.Image], List[np.ndarray], — List[List[torch.Tensor]], List[List[np.ndarray]] 或 List[List[PIL.Image.Image]]): 初始影像將用作影像生成過程的起點。如果直接傳入潛在表示，也可以將影像潛在表示作為 image 接受，它將不會再次編碼。
  • control_image (PipelineImageInput) — ControlNet 輸入條件。ControlNet 使用此輸入條件為 Unet 生成引導。如果型別指定為 torch.Tensor，則直接將其傳遞給 ControlNet。PIL.Image.Image 也可以作為影像接受。輸出影像的維度預設為 image 的維度。如果傳遞了 height 和/或 width，則根據它們調整 image 的大小。如果在 init 中指定了多個 ControlNet，則必須將影像作為列表傳遞，以便列表的每個元素都可以正確批次處理以輸入到單個 controlnet。
  • height (int, 可選, 預設為 control_image 的大小) — 生成影像的高度（畫素）。對於 stabilityai/stable-diffusion-xl-base-1.0 和未專門針對低解析度進行微調的檢查點，低於 512 畫素的任何尺寸都無法很好地工作。
  • width (int, 可選, 預設為 control_image 的大小) — 生成影像的寬度（畫素）。對於 stabilityai/stable-diffusion-xl-base-1.0 和未專門針對低解析度進行微調的檢查點，低於 512 畫素的任何尺寸都無法很好地工作。
  • strength (float, 可選, 預設為 0.8) — 指示轉換參考 image 的程度。必須介於 0 和 1 之間。image 用作起點，strength 越高，新增的噪聲越多。去噪步數取決於最初新增的噪聲量。當 strength 為 1 時，新增的噪聲最大，去噪過程將執行 num_inference_steps 中指定的完整迭代次數。值為 1 基本上忽略了 image。
  • num_inference_steps (int, 可選, 預設為 50) — 去噪步數。更多的去噪步數通常會帶來更高的影像質量，但推理速度會變慢。
  • guidance_scale (float, 可選, 預設為 7.5) — 如 Classifier-Free Diffusion Guidance 中定義的引導尺度。guidance_scale 定義為 Imagen Paper 中公式 2 的 w。透過設定 guidance_scale > 1 啟用引導尺度。較高的引導尺度會鼓勵生成與文字 prompt 密切相關的影像，但通常會犧牲影像質量。
  • negative_prompt (str 或 List[str], 可選) — 不用於引導影像生成的提示或多個提示。如果未定義，則必須傳入 negative_prompt_embeds。在不使用引導時（即，如果 guidance_scale 小於 1），此引數將被忽略。
  • negative_prompt_2 (str 或 List[str], 可選) — 不用於引導影像生成的提示或多個提示，將傳送到 tokenizer_2 和 text_encoder_2。如果未定義，則在兩個文字編碼器中都使用 negative_prompt。
  • num_images_per_prompt (int, 可選, 預設為 1) — 每個提示生成的影像數量。
  • eta (float, 可選, 預設為 0.0) — 對應於 DDIM 論文中的引數 eta (η)：https://huggingface.co/papers/2010.02502。僅適用於 schedulers.DDIMScheduler，對於其他排程器將被忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可選) — 一個或多個 torch 生成器，用於使生成具有確定性。
  • latents (torch.Tensor, 可選) — 預生成的帶噪聲的潛在表示，從高斯分佈中取樣，用作影像生成的輸入。可用於使用不同的提示調整相同的生成。如果未提供，將透過使用提供的隨機 generator 進行取樣來生成潛在表示張量。
  • prompt_embeds (torch.Tensor, 可選) — 預生成的文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，文字嵌入將從 prompt 輸入引數生成。
  • negative_prompt_embeds (torch.Tensor, 可選) — 預生成的負面文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，negative_prompt_embeds 將從 negative_prompt 輸入引數生成。
  • pooled_prompt_embeds (torch.Tensor, 可選) — 預生成的池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，池化文字嵌入將從 prompt 輸入引數生成。
  • negative_pooled_prompt_embeds (torch.Tensor, 可選) — 預生成的負面池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，池化負面提示嵌入將從 negative_prompt 輸入引數生成。
  • ip_adapter_image — (PipelineImageInput, 可選): 與 IP 介面卡一起使用的可選影像輸入。
  • ip_adapter_image_embeds (List[torch.Tensor], 可選) — 適用於 IP-Adapter 的預生成影像嵌入。它應該是一個列表，長度與 IP-adapter 的數量相同。每個元素都應該是一個形狀為 (batch_size, num_images, emb_dim) 的張量。如果 do_classifier_free_guidance 設定為 True，則應包含負影像嵌入。如果未提供，則從 ip_adapter_image 輸入引數計算嵌入。
  • output_type (str, 可選, 預設為 "pil") — 生成影像的輸出格式。在 PIL: PIL.Image.Image 或 np.array 之間選擇。
  • return_dict (bool, 可選, 預設為 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元組。
  • cross_attention_kwargs (dict, 可選) — 一個 kwargs 字典，如果指定，則傳遞給 diffusers.models.attention_processor 中 self.processor 下定義的 AttentionProcessor。
  • controlnet_conditioning_scale (float 或 List[float], 可選, 預設為 1.0) — ControlNet 的輸出在新增到原始 unet 的殘差之前會乘以 controlnet_conditioning_scale。如果在 init 中指定了多個 ControlNet，則可以將相應的比例設定為列表。
  • guess_mode (bool, 可選, 預設為 False) — 在此模式下，即使您刪除所有提示，ControlNet 編碼器也將盡力識別輸入影像的內容。建議 guidance_scale 在 3.0 到 5.0 之間。
  • control_guidance_start (float 或 List[float], 可選, 預設為 0.0) — controlnet 開始應用的步驟總數的百分比。
  • control_guidance_end (float 或 List[float], 可選, 預設為 1.0) — controlnet 停止應用的步驟總數的百分比。
  • original_size (Tuple[int], 可選, 預設為 (1024, 1024)) — 如果 original_size 與 target_size 不同，影像將顯示為縮小或放大。如果未指定，original_size 預設為 (height, width)。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 節所述。
  • crops_coords_top_left (Tuple[int], 可選, 預設為 (0, 0)) — crops_coords_top_left 可用於生成從 crops_coords_top_left 位置向下“裁剪”的影像。通常透過將 crops_coords_top_left 設定為 (0, 0) 來獲得居中且效果良好的影像。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 節所述。
  • target_size (Tuple[int], 可選, 預設為 (1024, 1024)) — 大多數情況下，target_size 應設定為生成影像的所需高度和寬度。如果未指定，它將預設為 (height, width)。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 節所述。
  • negative_original_size (Tuple[int], 可選, 預設為 (1024, 1024)) — 用於基於特定影像解析度對生成過程進行負面條件化。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 節所述。有關更多資訊，請參閱此問題討論串：https://github.com/huggingface/diffusers/issues/4208。
  • negative_crops_coords_top_left (Tuple[int], 可選, 預設為 (0, 0)) — 用於基於特定裁剪座標對生成過程進行負面條件化。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 節所述。有關更多資訊，請參閱此問題討論串：https://github.com/huggingface/diffusers/issues/4208。
  • negative_target_size (Tuple[int], 可選, 預設為 (1024, 1024)) — 用於基於目標影像解析度對生成過程進行負面條件化。在大多數情況下，它應該與 target_size 相同。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 節所述。有關更多資訊，請參閱此問題討論串：https://github.com/huggingface/diffusers/issues/4208。
  • aesthetic_score (float, 可選, 預設為 6.0) — 透過影響正面文字條件來模擬生成影像的美學得分。SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 節所述。
  • negative_aesthetic_score (float, 可選, 預設為 2.5) — SDXL 微條件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 節所述。可用於透過影響負面文字條件來模擬生成影像的美學得分。
  • clip_skip (int, 可選) — 計算提示嵌入時要跳過的 CLIP 層數。值為 1 表示將使用倒數第二層的輸出計算提示嵌入。
  • callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可選) — 在推理過程中，每個去噪步驟結束時呼叫的函式或 PipelineCallback 或 MultiPipelineCallbacks 的子類。引數如下： callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 將包含 callback_on_step_end_tensor_inputs 指定的所有張量列表。
  • callback_on_step_end_tensor_inputs (List, 可選) — callback_on_step_end 函式的張量輸入列表。列表中指定的張量將作為 callback_kwargs 引數傳遞。您只能包含管道類的 ._callback_tensor_inputs 屬性中列出的變數。

返回

StableDiffusionPipelineOutput 或 tuple

StableDiffusionPipelineOutput 如果 return_dict 為 True，否則為包含輸出影像的 tuple。

呼叫管道進行生成時呼叫的函式。

示例

# !pip install controlnet_aux
from diffusers import (
    StableDiffusionXLControlNetUnionImg2ImgPipeline,
    ControlNetUnionModel,
    AutoencoderKL,
)
from diffusers.utils import load_image
import torch
from PIL import Image
import numpy as np

prompt = "A cat"
# download an image
image = load_image(
    "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/kandinsky/cat.png"
)
# initialize the models and pipeline
controlnet = ControlNetUnionModel.from_pretrained(
    "brad-twinkl/controlnet-union-sdxl-1.0-promax", torch_dtype=torch.float16
)
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetUnionImg2ImgPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet,
    vae=vae,
    torch_dtype=torch.float16,
    variant="fp16",
).to("cuda")
# `enable_model_cpu_offload` is not recommended due to multiple generations
height = image.height
width = image.width
ratio = np.sqrt(1024.0 * 1024.0 / (width * height))
# 3 * 3 upscale correspond to 16 * 3 multiply, 2 * 2 correspond to 16 * 2 multiply and so on.
scale_image_factor = 3
base_factor = 16
factor = scale_image_factor * base_factor
W, H = int(width * ratio) // factor * factor, int(height * ratio) // factor * factor
image = image.resize((W, H))
target_width = W // scale_image_factor
target_height = H // scale_image_factor
images = []
crops_coords_list = [
    (0, 0),
    (0, width // 2),
    (height // 2, 0),
    (width // 2, height // 2),
    0,
    0,
    0,
    0,
    0,
]
for i in range(scale_image_factor):
    for j in range(scale_image_factor):
        left = j * target_width
        top = i * target_height
        right = left + target_width
        bottom = top + target_height
        cropped_image = image.crop((left, top, right, bottom))
        cropped_image = cropped_image.resize((W, H))
        images.append(cropped_image)
# set ControlNetUnion input
result_images = []
for sub_img, crops_coords in zip(images, crops_coords_list):
    new_width, new_height = W, H
    out = pipe(
        prompt=[prompt] * 1,
        image=sub_img,
        control_image=[sub_img],
        control_mode=[6],
        width=new_width,
        height=new_height,
        num_inference_steps=30,
        crops_coords_top_left=(W, H),
        target_size=(W, H),
        original_size=(W * 2, H * 2),
    )
    result_images.append(out.images[0])
new_im = Image.new("RGB", (new_width * scale_image_factor, new_height * scale_image_factor))
new_im.paste(result_images[0], (0, 0))
new_im.paste(result_images[1], (new_width, 0))
new_im.paste(result_images[2], (new_width * 2, 0))
new_im.paste(result_images[3], (0, new_height))
new_im.paste(result_images[4], (new_width, new_height))
new_im.paste(result_images[5], (new_width * 2, new_height))
new_im.paste(result_images[6], (0, new_height * 2))
new_im.paste(result_images[7], (new_width, new_height * 2))
new_im.paste(result_images[8], (new_width * 2, new_height * 2))

encode_prompt

< >

( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )

引數

  • prompt (str 或 List[str], 可選) — 要編碼的提示
  • prompt_2 (str 或 List[str], 可選) — 要傳送到 tokenizer_2 和 text_encoder_2 的提示。如果未定義，prompt 將用於兩個文字編碼器。
  • device — (torch.device): torch 裝置
  • num_images_per_prompt (int) — 每個提示應生成的影像數量
  • do_classifier_free_guidance (bool) — 是否使用分類器自由引導
  • negative_prompt (str 或 List[str], 可選) — 不引導影像生成的提示。如果未定義，則必須傳遞 negative_prompt_embeds。不使用引導時忽略（即，如果 guidance_scale 小於 1 則忽略）。
  • negative_prompt_2 (str 或 List[str], 可選) — 不引導影像生成併發送到 tokenizer_2 和 text_encoder_2 的提示。如果未定義，negative_prompt 將用於兩個文字編碼器。
  • prompt_embeds (torch.Tensor, 可選) — 預生成的文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，將從 prompt 輸入引數生成文字嵌入。
  • negative_prompt_embeds (torch.Tensor, 可選) — 預生成的負面文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，將從 negative_prompt 輸入引數生成負面文字嵌入。
  • pooled_prompt_embeds (torch.Tensor, 可選) — 預生成的池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，將從 prompt 輸入引數生成池化文字嵌入。
  • negative_pooled_prompt_embeds (torch.Tensor, 可選) — 預生成的負面池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，將從 negative_prompt 輸入引數生成池化負面文字嵌入。
  • lora_scale (float, 可選) — 如果載入了 LoRA 層，則將應用於文字編碼器所有 LoRA 層的 LoRA 比例。
  • clip_skip (int, 可選) — 計算提示嵌入時要跳過的 CLIP 層數。值為 1 表示將使用倒數第二層的輸出計算提示嵌入。

將提示編碼為文字編碼器隱藏狀態。

StableDiffusionXLControlNetUnionInpaintPipeline

類 diffusers.StableDiffusionXLControlNetUnionInpaintPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel controlnet: ControlNetUnionModel scheduler: KarrasDiffusionSchedulers requires_aesthetics_score: bool = False force_zeros_for_empty_prompt: bool = True add_watermarker: typing.Optional[bool] = None feature_extractor: typing.Optional[transformers.models.clip.image_processing_clip.CLIPImageProcessor] = None image_encoder: typing.Optional[transformers.models.clip.modeling_clip.CLIPVisionModelWithProjection] = None )

引數

用於使用 Stable Diffusion XL 進行文字到影像生成的管道。

此模型繼承自 DiffusionPipeline。有關庫為所有管道實現的通用方法（例如下載或儲存、在特定裝置上執行等），請檢視超類文件。

該管道還繼承了以下載入方法

__call__

< >

( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None mask_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None control_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None height: typing.Optional[int] = None width: typing.Optional[int] = None padding_mask_crop: typing.Optional[int] = None strength: float = 0.9999 num_inference_steps: int = 50 denoising_start: typing.Optional[float] = None denoising_end: typing.Optional[float] = None guidance_scale: float = 5.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None controlnet_conditioning_scale: typing.Union[float, typing.List[float]] = 1.0 guess_mode: bool = False control_guidance_start: typing.Union[float, typing.List[float]] = 0.0 control_guidance_end: typing.Union[float, typing.List[float]] = 1.0 control_mode: typing.Union[int, typing.List[int], NoneType] = None guidance_rescale: float = 0.0 original_size: typing.Tuple[int, int] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) target_size: typing.Tuple[int, int] = None aesthetic_score: float = 6.0 negative_aesthetic_score: float = 2.5 clip_skip: typing.Optional[int] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] **kwargs ) → ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 或 tuple

引數

  • prompt (str 或 List[str], 可選) — 引導影像生成的提示。如果未定義，則必須傳遞 prompt_embeds。
  • prompt_2 (str 或 List[str], 可選) — 要傳送到 tokenizer_2 和 text_encoder_2 的提示。如果未定義，prompt 將用於兩個文字編碼器。
  • image (PIL.Image.Image) — 要進行修復的影像，即影像的一部分將被 mask_image 遮罩，並根據 prompt 重新繪製。可以是 Image 或表示影像批次的張量。
  • mask_image (PIL.Image.Image) — 用於遮罩 image 的影像或表示影像批次的張量。遮罩中白色畫素的部分將被重新繪製，而黑色畫素的部分將被保留。如果 mask_image 是 PIL 影像，它在使用前將被轉換為單通道（亮度）。如果它是張量，它應該包含一個顏色通道 (L) 而不是 3 個，所以預期的形狀是 (B, H, W, 1)。
  • height (int, 可選, 預設為 self.unet.config.sample_size * self.vae_scale_factor) — 生成影像的高度（畫素）。
  • width (int, 可選, 預設為 self.unet.config.sample_size * self.vae_scale_factor) — 生成影像的寬度（畫素）。
  • padding_mask_crop (int, optional, defaults to None) — 裁剪應用於影像和遮罩的邊距大小。如果為 None，則不裁剪影像和遮罩影像。如果 padding_mask_crop 不為 None，它將首先找到一個與影像長寬比相同且包含所有遮罩區域的矩形區域，然後根據 padding_mask_crop 擴充套件該區域。然後，影像和遮罩影像將根據擴充套件區域進行裁剪，然後調整大小到原始影像尺寸進行修復。當遮罩區域較小而影像較大且包含與修復無關的資訊（如背景）時，這很有用。
  • strength (float, optional, defaults to 0.9999) — 從概念上講，表示對參考 image 的遮罩部分進行轉換的程度。必須介於 0 和 1 之間。image 將用作起點，strength 越大，新增的噪聲越多。去噪步驟的數量取決於最初新增的噪聲量。當 strength 為 1 時，新增的噪聲將最大，並且去噪過程將執行 num_inference_steps 中指定的全部迭代次數。因此，值為 1 基本上會忽略參考 image 的遮罩部分。請注意，如果 denoising_start 宣告為整數，則將忽略 strength 的值。
  • num_inference_steps (int, optional, defaults to 50) — 去噪步驟的數量。更多的去噪步驟通常會帶來更高的影像質量，但代價是推理速度變慢。
  • denoising_start (float, optional) — 當指定時，表示在去噪過程開始之前要跳過的總去噪過程的百分比（介於 0.0 和 1.0 之間）。因此，去噪過程的初始部分被跳過，並假定傳入的 image 是一個部分去噪的影像。請注意，當指定此引數時，將忽略 strength。denoising_start 引數在將此管道整合到“去噪器混合”多管道設定中時特別有用，詳見 最佳化影像輸出。
  • denoising_end (float, optional) — 當指定時，確定在去噪過程被有意提前終止之前要完成的總去噪過程的百分比（介於 0.0 和 1.0 之間）。因此，返回的樣本將仍然保留大量的噪聲（約需最後 20% 的時間步長），並且應該由一個後續管道進行去噪，該管道將 denoising_start 設定為 0.8，以便它只去噪排程器的最後 20%。當此管道構成“去噪器混合”多管道設定的一部分時，應理想地使用 denoising_end 引數，詳見 最佳化影像輸出。
  • guidance_scale (float, optional, defaults to 7.5) — 在 Classifier-Free Diffusion Guidance 中定義的引導比例。guidance_scale 定義為 Imagen Paper 方程 2 中的 w。透過將 guidance_scale > 1 設定為啟用引導比例。更高的引導比例鼓勵生成與文字 prompt 密切相關的影像，通常以犧牲影像質量為代價。
  • negative_prompt (str 或 List[str], optional) — 不用於引導影像生成的提示或提示列表。如果未定義，則必須傳入 negative_prompt_embeds。當不使用引導時（即，如果 guidance_scale 小於 1 時），將被忽略。
  • negative_prompt_2 (str 或 List[str], optional) — 用於不引導影像生成的提示或提示列表，將傳送到 tokenizer_2 和 text_encoder_2。如果未定義，則在兩個文字編碼器中都使用 negative_prompt。
  • prompt_embeds (torch.Tensor, optional) — 預先生成的文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，將根據 prompt 輸入引數生成文字嵌入。
  • negative_prompt_embeds (torch.Tensor, optional) — 預先生成的負文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，負文字嵌入將根據 negative_prompt 輸入引數生成。
  • ip_adapter_image — (PipelineImageInput, optional): 用於 IP Adapter 的可選影像輸入。
  • ip_adapter_image_embeds (List[torch.Tensor], optional) — 用於 IP-Adapter 的預先生成的影像嵌入。它應該是一個列表，長度與 IP-adapter 的數量相同。每個元素都應該是一個形狀為 (batch_size, num_images, emb_dim) 的張量。如果 do_classifier_free_guidance 設定為 True，它應該包含負影像嵌入。如果未提供，則根據 ip_adapter_image 輸入引數計算嵌入。
  • pooled_prompt_embeds (torch.Tensor, optional) — 預先生成的池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，池化文字嵌入將根據 prompt 輸入引數生成。
  • negative_pooled_prompt_embeds (torch.Tensor, optional) — 預先生成的負池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，池化負文字嵌入將根據 negative_prompt 輸入引數生成。
  • num_images_per_prompt (int, optional, defaults to 1) — 每個提示要生成的影像數量。
  • eta (float, optional, defaults to 0.0) — 對應於 DDIM 論文中的引數 eta (η)：https://huggingface.co/papers/2010.02502。僅適用於 schedulers.DDIMScheduler，對其他排程器將被忽略。
  • generator (torch.Generator, optional) — 一個或一個 torch generator(s) 列表，用於使生成具有確定性。
  • latents (torch.Tensor, optional) — 預先生成的噪聲潛在變數，從高斯分佈中取樣，用作影像生成的輸入。可用於使用不同提示調整相同的生成。如果未提供，將使用提供的隨機 generator 進行取樣生成潛在變數張量。
  • output_type (str, optional, defaults to "pil") — 生成影像的輸出格式。選擇 PIL: PIL.Image.Image 或 np.array。
  • return_dict (bool, optional, defaults to True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元組。
  • cross_attention_kwargs (dict, optional) — 一個 kwargs 字典，如果指定，將作為引數傳遞給 diffusers.models.attention_processor 中定義的 self.processor 的 AttentionProcessor。
  • original_size (Tuple[int], optional, defaults to (1024, 1024)) — 如果 original_size 與 target_size 不同，影像將顯示為下采樣或上取樣。如果未指定，original_size 預設為 (width, height)。作為 SDXL 微條件的一部分，詳見 https://huggingface.co/papers/2307.01952 的第 2.2 節。
  • crops_coords_top_left (Tuple[int], optional, defaults to (0, 0)) — crops_coords_top_left 可用於生成從 crops_coords_top_left 位置向下“裁剪”的影像。通常透過將 crops_coords_top_left 設定為 (0, 0) 來獲得有利的、居中影像。作為 SDXL 微條件的一部分，詳見 https://huggingface.co/papers/2307.01952 的第 2.2 節。
  • target_size (Tuple[int], optional, defaults to (1024, 1024)) — 在大多數情況下，target_size 應設定為生成影像的所需高度和寬度。如果未指定，它將預設為 (width, height)。作為 SDXL 微條件的一部分，詳見 https://huggingface.co/papers/2307.01952 的第 2.2 節。
  • aesthetic_score (float, optional, defaults to 6.0) — 透過影響正面文字條件來模擬生成影像的美學分數。作為 SDXL 微條件的一部分，詳見 https://huggingface.co/papers/2307.01952 的第 2.2 節。
  • negative_aesthetic_score (float, optional, defaults to 2.5) — 作為 SDXL 微條件的一部分，詳見 https://huggingface.co/papers/2307.01952 的第 2.2 節。可用於透過影響負面文字條件來模擬生成影像的美學分數。
  • clip_skip (int, optional) — 在計算提示嵌入時，要跳過 CLIP 的層數。值為 1 表示將使用倒數第二層的輸出計算提示嵌入。
  • callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, optional) — 在推理過程中每次去噪步驟結束時呼叫的函式或 PipelineCallback 或 MultiPipelineCallbacks 的子類，具有以下引數：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 將包含 callback_on_step_end_tensor_inputs 指定的所有張量列表。
  • callback_on_step_end_tensor_inputs (List, optional) — callback_on_step_end 函式的張量輸入列表。列表中指定的張量將作為 callback_kwargs 引數傳遞。您只能包含管道類的 ._callback_tensor_inputs 屬性中列出的變數。

返回

~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 或 tuple

如果 return_dict 為 True，則為 ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput，否則為 tuple。返回元組時，第一個元素是生成的影像列表。

呼叫管道進行生成時呼叫的函式。

示例

from diffusers import StableDiffusionXLControlNetUnionInpaintPipeline, ControlNetUnionModel, AutoencoderKL
from diffusers.utils import load_image
import torch
import numpy as np
from PIL import Image

prompt = "A cat"
# download an image
image = load_image(
    "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/in_paint/overture-creations-5sI6fQgYIuo.png"
).resize((1024, 1024))
mask = load_image(
    "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/in_paint/overture-creations-5sI6fQgYIuo_mask.png"
).resize((1024, 1024))
# initialize the models and pipeline
controlnet = ControlNetUnionModel.from_pretrained(
    "brad-twinkl/controlnet-union-sdxl-1.0-promax", torch_dtype=torch.float16
)
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetUnionInpaintPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet,
    vae=vae,
    torch_dtype=torch.float16,
    variant="fp16",
)
pipe.enable_model_cpu_offload()
controlnet_img = image.copy()
controlnet_img_np = np.array(controlnet_img)
mask_np = np.array(mask)
controlnet_img_np[mask_np > 0] = 0
controlnet_img = Image.fromarray(controlnet_img_np)
# generate image
image = pipe(prompt, image=image, mask_image=mask, control_image=[controlnet_img], control_mode=[7]).images[0]
image.save("inpaint.png")

encode_prompt

< >

( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )

引數

  • prompt (str 或 List[str], optional) — 要編碼的提示
  • prompt_2 (str 或 List[str], optional) — 要傳送到 tokenizer_2 和 text_encoder_2 的提示或提示列表。如果未定義，則在兩個文字編碼器中都使用 prompt。
  • device — (torch.device): torch 裝置
  • num_images_per_prompt (int) — 每個提示應生成的影像數量
  • do_classifier_free_guidance (bool) — 是否使用無分類器引導
  • negative_prompt (str 或 List[str], optional) — 不用於引導影像生成的提示或提示列表。如果未定義，則必須傳入 negative_prompt_embeds。當不使用引導時（即，如果 guidance_scale 小於 1 時），將被忽略。
  • negative_prompt_2 (str 或 List[str], optional) — 用於不引導影像生成的提示或提示列表，將傳送到 tokenizer_2 和 text_encoder_2。如果未定義，則在兩個文字編碼器中都使用 negative_prompt。
  • prompt_embeds (torch.Tensor, optional) — 預先生成的文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，文字嵌入將根據 prompt 輸入引數生成。
  • negative_prompt_embeds (torch.Tensor, optional) — 預先生成的負文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，負文字嵌入將根據 negative_prompt 輸入引數生成。
  • pooled_prompt_embeds (torch.Tensor, optional) — 預先生成的池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，池化文字嵌入將根據 prompt 輸入引數生成。
  • negative_pooled_prompt_embeds (torch.Tensor, optional) — 預先生成的負池化文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，池化負文字嵌入將根據 negative_prompt 輸入引數生成。
  • lora_scale (float, optional) — 如果載入了 LoRA 層，則將應用於文字編碼器的所有 LoRA 層的 LoRA 比例。
  • clip_skip (int, optional) — 在計算提示嵌入時，要跳過 CLIP 的層數。值為 1 表示將使用倒數第二層的輸出計算提示嵌入。

將提示編碼為文字編碼器隱藏狀態。

< > 在 GitHub 上更新

←ControlNet-XS with Stable Diffusion XL Cosmos→
© . This site is unofficial and not affiliated with Hugging Face, Inc.