引數

• prompt (str 或 List[str], 可選) — 引導影像生成的提示詞。如果未定義，則需要傳遞 prompt_embeds。
• image (torch.Tensor, PIL.Image.Image, np.ndarray, List[torch.Tensor], List[PIL.Image.Image], 或 List[np.ndarray]) — Image、numpy 陣列或張量，表示要進行影像修復的影像批次（使用 mask_image 遮罩影像的哪些部分，並根據 prompt 重新繪製）。對於 numpy 陣列和 pytorch 張量，預期值範圍在 [0, 1] 之間。如果它是張量或張量列表，則預期形狀應為 (B, C, H, W) 或 (C, H, W)。如果它是 numpy 陣列或陣列列表，則預期形狀應為 (B, H, W, C) 或 (H, W, C)。它也可以接受影像潛在值作為 image，但如果直接傳遞潛在值，則不會再次進行編碼。
• mask_image (torch.Tensor, PIL.Image.Image, np.ndarray, List[torch.Tensor], List[PIL.Image.Image], 或 List[np.ndarray]) — Image、numpy 陣列或張量，表示用於遮罩 image 的影像批次。蒙版中的白色畫素將被重新繪製，而黑色畫素將保留。如果 mask_image 是 PIL 影像，則在使用前將其轉換為單通道（亮度）。如果它是 numpy 陣列或 pytorch 張量，則應包含一個顏色通道 (L) 而不是 3 個，因此 pytorch 張量的預期形狀為 (B, 1, H, W)、(B, H, W)、(1, H, W) 或 (H, W)。對於 numpy 陣列，預期形狀為 (B, H, W, 1)、(B, H, W)、(H, W, 1) 或 (H, W)。
• height (int, 可選, 預設為 self.unet.config.sample_size * self.vae_scale_factor) — 生成影像的高度（畫素）。
• width (int, 可選, 預設為 self.unet.config.sample_size * self.vae_scale_factor) — 生成影像的寬度（畫素）。
• padding_mask_crop (int, 可選, 預設為 None) — 應用於影像和遮罩的裁剪邊距大小。如果為 None，則不裁剪影像和 mask_image。如果 padding_mask_crop 不為 None，它將首先找到一個與影像長寬比相同且包含所有遮罩區域的矩形區域，然後根據 padding_mask_crop 擴充套件該區域。然後將根據擴充套件區域裁剪影像和 mask_image，再重新調整為原始影像大小進行修復。當遮罩區域較小而影像較大且包含與影像修復無關的資訊（例如背景）時，這會很有用。
• strength (float, 可選, 預設為 1.0) — 表示轉換參考 image 的程度。必須介於 0 和 1 之間。image 用作起點，strength 越高，新增的噪聲越多。去噪步驟的數量取決於最初新增的噪聲量。當 strength 為 1 時，新增的噪聲最大，去噪過程將執行 num_inference_steps 中指定的全部迭代次數。值為 1 基本上會忽略 image。
• num_inference_steps (int, 可選, 預設為 50) — 去噪步數。更多的去噪步數通常會帶來更高質量的影像，但推理速度會變慢。此引數受 strength 調製。
• timesteps (List[int], 可選) — 使用支援其 set_timesteps 方法中 timesteps 引數的排程器進行去噪過程的自定義時間步。如果未定義，則將使用傳遞 num_inference_steps 時的預設行為。必須按降序排列。
• sigmas (List[float], 可選) — 使用支援其 set_timesteps 方法中 sigmas 引數的排程器進行去噪過程的自定義 σ 值。如果未定義，則將使用傳遞 num_inference_steps 時的預設行為。
• guidance_scale (float, 可選, 預設為 7.5) — 更高的引導尺度值鼓勵模型生成與文字 prompt 緊密相關的影像，但會犧牲影像質量。當 guidance_scale > 1 時啟用引導尺度。
• negative_prompt (str 或 List[str], 可選) — 引導影像生成中不包含內容的提示詞。如果未定義，則需要傳遞 negative_prompt_embeds。當不使用引導時 (guidance_scale < 1) 忽略。
• num_images_per_prompt (int, 可選, 預設為 1) — 每個提示詞生成的影像數量。
• eta (float, 可選, 預設為 0.0) — 對應於 DDIM 論文中的引數 eta (η)。僅適用於 DDIMScheduler，在其他排程器中忽略。
• generator (torch.Generator 或 List[torch.Generator], 可選) — 用於使生成具有確定性的 torch.Generator。
• latents (torch.Tensor, 可選) — 從高斯分佈中取樣的預生成噪聲潛在值，用作影像生成的輸入。可用於透過不同的提示調整相同的生成。如果未提供，則透過使用提供的隨機 generator 進行取樣生成一個潛在張量。
• prompt_embeds (torch.Tensor, 可選) — 預先生成的文字嵌入。可用於輕鬆調整文字輸入（提示詞權重）。如果未提供，則文字嵌入將從 `prompt` 輸入引數生成。
• negative_prompt_embeds (torch.Tensor, 可選) — 預先生成的負面文字嵌入。可用於輕鬆調整文字輸入（提示詞權重）。如果未提供，`negative_prompt_embeds` 將從 `negative_prompt` 輸入引數生成。
• ip_adapter_image — (`PipelineImageInput`, 可選): 與 IP 介面卡配合使用的可選影像輸入。
• ip_adapter_image_embeds (List[torch.Tensor], 可選) — 用於 IP-Adapter 的預生成影像嵌入。它應該是一個列表，長度與 IP 介面卡數量相同。每個元素都應該是一個形狀為 `(batch_size, num_images, emb_dim)` 的張量。如果 `do_classifier_free_guidance` 設定為 `True`，則應包含負影像嵌入。如果未提供，則從 `ip_adapter_image` 輸入引數計算嵌入。
• output_type (str, 可選, 預設為 "pil") — 生成影像的輸出格式。在 PIL.Image 或 np.array 之間選擇。
• return_dict (bool, 可選, 預設為 True) — 是否返回 StableDiffusionPipelineOutput，而不是普通的元組。
• cross_attention_kwargs (dict, 可選) — 一個 kwargs 字典，如果指定，將作為 `self.processor` 中定義的 `AttentionProcessor` 的引數傳遞。
• clip_skip (int, 可選) — 計算提示詞嵌入時跳過的 CLIP 層數。值為 1 表示使用倒數第二層的輸出計算提示詞嵌入。
• callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可選) — 在推理過程中，每個去噪步驟結束時呼叫的函式或 PipelineCallback 或 MultiPipelineCallbacks 的子類，具有以下引數：`callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)`。`callback_kwargs` 將包含由 `callback_on_step_end_tensor_inputs` 指定的所有張量列表。
• callback_on_step_end_tensor_inputs (List, 可選) — callback_on_step_end 函式的張量輸入列表。列表中指定的張量將作為 callback_kwargs 引數傳遞。您只能包含管道類 `._callback_tensor_inputs` 屬性中列出的變數。

如果 `return_dict` 為 `True`，則返回 StableDiffusionPipelineOutput，否則返回一個 tuple，其中第一個元素是生成的影像列表，第二個元素是指示相應生成的影像是否包含“不適合工作”（nsfw）內容的 bool 列表。

引數

• slice_size (str 或 int, 可選, 預設為 "auto") — 當設定為 "auto" 時，將注意力頭的輸入減半，因此注意力將分兩步計算。如果設定為 "max"，則透過每次只執行一個切片來節省最大記憶體。如果提供一個數字，則使用 attention_head_dim // slice_size 個切片。在這種情況下，`attention_head_dim` 必須是 `slice_size` 的倍數。

引數

• attention_op (Callable, 可選) — 覆蓋預設的 None 運算子，用作 xFormers 的 memory_efficient_attention() 函式的 `op` 引數。

引數

• pretrained_model_name_or_path (str 或 os.PathLike 或 List[str 或 os.PathLike] 或 Dict 或 List[Dict]) — 可以是以下之一或它們的列表：
  • Hub 上託管的預訓練模型的模型 ID 字串（例如 sd-concepts-library/low-poly-hd-logos-icons）。
  • 包含文字反轉權重的目錄路徑（例如 ./my_text_inversion_directory/）。
  • 包含文字反轉權重的檔案路徑（例如 ./my_text_inversions.pt）。
  • 一個 torch state dict。
• token (str 或 List[str], 可選) — 覆蓋用於文字反轉權重的 token。如果 `pretrained_model_name_or_path` 是一個列表，則 `token` 也必須是一個等長的列表。
• text_encoder (CLIPTextModel, 可選) — 凍結的文字編碼器（clip-vit-large-patch14）。如果未指定，函式將使用 self.tokenizer。
• tokenizer (CLIPTokenizer, 可選) — 用於文字標記化的 CLIPTokenizer。如果未指定，函式將使用 self.tokenizer。
• weight_name (str, 可選) — 自定義權重檔案的名稱。應在以下情況使用：
  • 儲存的文字反轉檔案為 🤗 Diffusers 格式，但以特定權重名稱（例如 `text_inv.bin`）儲存。
  • 儲存的文字反轉檔案為 Automatic1111 格式。
• cache_dir (Union[str, os.PathLike], 可選) — 如果不使用標準快取，則下載的預訓練模型配置的快取目錄路徑。
• force_download (bool, 可選, 預設為 False) — 是否強制（重新）下載模型權重和配置檔案，如果存在則覆蓋快取版本。
• proxies (Dict[str, str], 可選) — 按協議或端點使用的代理伺服器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用於每個請求。
• local_files_only (bool, 可選, 預設為 False) — 是否只加載本地模型權重和配置檔案。如果設定為 True，則模型不會從 Hub 下載。
• hf_token (str 或 bool, 可選) — 用作遠端檔案的 HTTP Bearer 授權的 token。如果為 True，則使用從 diffusers-cli login 生成的 token（儲存在 ~/.huggingface 中）。
• revision (str, 可選, 預設為 "main") — 要使用的特定模型版本。它可以是分支名稱、標籤名稱、提交 ID 或 Git 允許的任何識別符號。
• subfolder (str, 可選, 預設為 "") — 模型檔案在 Hub 或本地較大模型倉庫中的子資料夾位置。
• mirror (str, 可選) — 解決在中國下載模型時的可訪問性問題的映象源。我們不保證該源的及時性或安全性，您應該參考映象站點獲取更多資訊。

引數

• pretrained_model_name_or_path_or_dict (str 或 os.PathLike 或 dict) — 參見 lora_state_dict()。
• adapter_name (str, 可選) — 用於引用已載入的介面卡模型的介面卡名稱。如果未指定，將使用 `default_{i}`，其中 i 是正在載入的介面卡總數。
• low_cpu_mem_usage (bool, 可選) — 透過僅載入預訓練的 LoRA 權重而不初始化隨機權重來加快模型載入速度。
• hotswap (bool, 可選) — 預設為 False。是否用新載入的介面卡原地替換現有（LoRA）介面卡。這意味著，不是載入額外的介面卡，而是將現有介面卡權重替換為新介面卡的權重。這可以更快且更節省記憶體。然而，熱插拔的主要優點是，當模型使用 torch.compile 編譯時，載入新介面卡不需要重新編譯模型。使用熱插拔時，傳遞的 `adapter_name` 應該是已載入介面卡的名稱。

  如果新介面卡和舊介面卡具有不同的秩和/或 LoRA alpha（即縮放），則在載入介面卡之前需要呼叫一個額外的方法：

引數

• save_directory (str 或 os.PathLike) — 儲存 LoRA 引數的目錄。如果不存在，則會建立。
• unet_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 對應於 `unet` 的 LoRA 層狀態字典。
• text_encoder_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 對應於 `text_encoder` 的 LoRA 層狀態字典。必須顯式傳遞文字編碼器 LoRA 狀態字典，因為它來自 🤗 Transformers。
• is_main_process (bool, 可選, 預設為 True) — 呼叫此過程是否為主過程。在分散式訓練中，當您需要在所有過程中呼叫此函式時很有用。在這種情況下，僅在主過程中設定 `is_main_process=True` 以避免競態條件。
• save_function (Callable) — 用於儲存狀態字典的函式。在分散式訓練中，當您需要將 torch.save 替換為其他方法時很有用。可以透過環境變數 DIFFUSERS_SAVE_MODE 進行配置。
• safe_serialization (bool, 可選, 預設為 True) — 是否使用 `safetensors` 或傳統 PyTorch 方式（帶 `pickle`）儲存模型。
• unet_lora_adapter_metadata — 與 unet 相關的 LoRA 介面卡元資料，將與狀態字典一起序列化。
• text_encoder_lora_adapter_metadata — 與文字編碼器相關的 LoRA 介面卡元資料，將與狀態字典一起序列化。

引數

• prompt (str 或 List[str], 可選) — 待編碼的提示詞
• device — (torch.device): torch 裝置
• num_images_per_prompt (int) — 每個提示詞應生成的圖片數量。
• do_classifier_free_guidance (bool) — 是否使用無分類器指導。
• negative_prompt (str 或 List[str], 可選) — 不用於引導影像生成的提示詞。如果未定義，則必須傳遞 negative_prompt_embeds。當不使用引導時（即如果 guidance_scale 小於 1 時），此引數將被忽略。
• prompt_embeds (torch.Tensor, 可選) — 預生成的文字嵌入。可用於輕鬆調整文字輸入，例如提示詞加權。如果未提供，將從 prompt 輸入引數生成文字嵌入。
• negative_prompt_embeds (torch.Tensor, 可選) — 預生成的負面文字嵌入。可用於輕鬆調整文字輸入，例如提示詞加權。如果未提供，將從 negative_prompt 輸入引數生成 negative_prompt_embeds。
• lora_scale (float, 可選) — 如果載入了 LoRA 層，則應用於文字編碼器所有 LoRA 層的 LoRA 比例。
• clip_skip (int, 可選) — 在計算提示詞嵌入時跳過 CLIP 的層數。值為 1 意味著將使用倒數第二層的輸出計算提示詞嵌入。

引數

• w (torch.Tensor) — 生成帶有指定引導尺度的嵌入向量，以隨後豐富時間步嵌入。
• embedding_dim (int, 可選, 預設為 512) — 生成的嵌入的維度。
• dtype (torch.dtype, 可選, 預設為 torch.float32) — 生成的嵌入的資料型別。

形狀為 (len(w), embedding_dim) 的嵌入向量。

引數

• prompt (str 或 List[str]) — 用於引導影像生成的提示詞。
• height (int, 可選, 預設為 self.unet.config.sample_size * self.vae_scale_factor) — 生成影像的畫素高度。
• width (int, 可選, 預設為 self.unet.config.sample_size * self.vae_scale_factor) — 生成影像的畫素寬度。
• num_inference_steps (int, 可選, 預設為 50) — 去噪步驟的數量。更多的去噪步驟通常會帶來更高質量的影像，但推理速度會變慢。此引數受 strength 調製。
• guidance_scale (float, 可選, 預設為 7.5) — 較高的引導尺度值鼓勵模型生成與文字 prompt 緊密相關的影像，但會以較低的影像質量為代價。當 guidance_scale > 1 時啟用引導尺度。
• latents (jnp.ndarray, 可選) — 從高斯分佈中取樣的預生成的噪聲潛在表示，用作影像生成的輸入。可用於使用不同提示詞調整同一生成。如果未提供，將使用提供的隨機 generator 取樣生成潛在陣列。
• jit (bool, 預設為 False) — 是否執行生成和安全評分函式的 pmap 版本。

  此引數存在是因為 __call__ 尚未完全支援 pmap。它將在未來版本中移除。

• return_dict (bool, 可選, 預設為 True) — 是否返回 FlaxStableDiffusionPipelineOutput 而不是普通的元組。

如果 return_dict 為 True，則返回 FlaxStableDiffusionPipelineOutput，否則返回一個 tuple，其中第一個元素是生成的影像列表，第二個元素是指示相應生成的影像是否包含“不安全工作”（nsfw）內容的 bool 列表。