引數

• prompt (str 或 List[str], 可選) — 引導影像生成的提示詞。如果未定義，您需要傳遞 prompt_embeds。
• image (torch.Tensor, PIL.Image.Image, np.ndarray, List[torch.Tensor], List[PIL.Image.Image], 或 List[np.ndarray]) — 用作起點的影像或表示影像批次的張量。僅當 depth_map 非 None 時，才能接受影像潛在表示作為 image。
• depth_map (torch.Tensor, 可選) — 用於影像生成過程的額外條件深度預測。如果未定義，它會自動使用 self.depth_estimator 預測深度。
• strength (float, 可選, 預設為 0.8) — 指示轉換參考 image 的程度。必須介於 0 和 1 之間。image 用作起點，strength 越高，新增的噪聲越多。去噪步數取決於最初新增的噪聲量。當 strength 為 1 時，新增的噪聲最大，去噪過程將執行 num_inference_steps 中指定的所有迭代次數。值為 1 基本上會忽略 image。
• num_inference_steps (int, 可選, 預設為 50) — 去噪步數。更多的去噪步數通常會帶來更高質量的影像，但會以較慢的推理速度為代價。此引數受 strength 調節。
• guidance_scale (float, 可選, 預設為 7.5) — 較高的引導比例值鼓勵模型生成與文字 prompt 緊密相關的影像，但會以較低的影像質量為代價。當 guidance_scale > 1 時啟用引導比例。
• negative_prompt (str 或 List[str], 可選) — 引導影像生成不包含內容的提示詞。如果未定義，您需要傳遞 negative_prompt_embeds。當不使用引導時 (guidance_scale < 1)，此引數將被忽略。
• num_images_per_prompt (int, 可選, 預設為 1) — 每個提示詞生成的影像數量。
• eta (float, 可選, 預設為 0.0) — 對應於 DDIM 論文中的引數 eta (η)。僅適用於 DDIMScheduler，在其他排程器中被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可選) — 用於使生成具有確定性的 torch.Generator。
• prompt_embeds (torch.Tensor, 可選) — 預生成的文字嵌入。可用於輕鬆調整文字輸入（提示詞權重）。如果未提供，文字嵌入將從 prompt 輸入引數生成。
• negative_prompt_embeds (torch.Tensor, 可選) — 預生成的負文字嵌入。可用於輕鬆調整文字輸入（提示詞權重）。如果未提供，negative_prompt_embeds 將從 negative_prompt 輸入引數生成。
• output_type (str, 可選, 預設為 "pil") — 生成影像的輸出格式。選擇 PIL.Image 或 np.array。
• return_dict (bool, 可選, 預設為 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元組。
• cross_attention_kwargs (dict, 可選) — 一個 kwargs 字典，如果指定，將傳遞給 self.processor 中定義的 AttentionProcessor。
• clip_skip (int, 可選) — 計算提示詞嵌入時要從 CLIP 中跳過的層數。值為 1 表示將使用倒數第二層的輸出計算提示詞嵌入。
• callback_on_step_end (Callable, 可選) — 在推理過程中每個去噪步驟結束時呼叫的函式。該函式將使用以下引數呼叫：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 將包含 callback_on_step_end_tensor_inputs 中指定的所有張量列表。
• callback_on_step_end_tensor_inputs (List, 可選) — callback_on_step_end 函式的張量輸入列表。列表中指定的張量將作為 callback_kwargs 引數傳遞。您只能包含管道類 ._callback_tensor_inputs 屬性中列出的變數。

如果 return_dict 為 True，則返回 StableDiffusionPipelineOutput，否則返回一個 tuple，其中第一個元素是生成影像的列表。

引數

• slice_size (str 或 int, 可選, 預設為 "auto") — 當為 "auto" 時，將輸入減半到注意力頭，因此注意力將分兩步計算。如果為 "max"，則透過一次只執行一個切片來節省最大記憶體量。如果提供數字，則使用 attention_head_dim // slice_size 個切片。在這種情況下，attention_head_dim 必須是 slice_size 的倍數。

引數

• attention_op (Callable, 可選) — 覆蓋預設的 None 運算子，以用作 xFormers 的 memory_efficient_attention() 函式的 op 引數。

引數

• pretrained_model_name_or_path (str 或 os.PathLike 或 List[str 或 os.PathLike] 或 Dict 或 List[Dict]) — 可以是以下其中一種或其列表：
  • Hub 上託管的預訓練模型的模型 ID 字串（例如 sd-concepts-library/low-poly-hd-logos-icons）。
  • 包含文字反轉權重的目錄路徑（例如 ./my_text_inversion_directory/）。
  • 包含文字反轉權重的檔案路徑（例如 ./my_text_inversions.pt）。
  • 一個 torch 狀態字典。
• token (str 或 List[str], 可選) — 覆蓋用於文字反轉權重的令牌。如果 pretrained_model_name_or_path 是列表，則 token 也必須是等長的列表。
• text_encoder (CLIPTextModel, 可選) — 凍結的文字編碼器（clip-vit-large-patch14）。如果未指定，函式將使用 self.tokenizer。
• tokenizer (CLIPTokenizer, 可選) — 用於標記文字的 CLIPTokenizer。如果未指定，函式將使用 self.tokenizer。
• weight_name (str, 可選) — 自定義權重檔案的名稱。應在以下情況使用：
  • 儲存的文字反轉檔案為 🤗 Diffusers 格式，但以特定權重名稱（例如 text_inv.bin）儲存。
  • 儲存的文字反轉檔案為 Automatic1111 格式。
• cache_dir (Union[str, os.PathLike], 可選) — 如果不使用標準快取，則下載的預訓練模型配置的快取目錄路徑。
• force_download (bool, 可選, 預設為 False) — 是否強制（重新）下載模型權重和配置檔案，如果已存在快取版本則覆蓋。
• proxies (Dict[str, str], 可選) — 按協議或端點使用的代理伺服器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用於每個請求。
• local_files_only (bool, 可選, 預設為 False) — 是否只加載本地模型權重和配置檔案。如果設定為 True，模型將不會從 Hub 下載。
• hf_token (str 或 bool, 可選) — 用作遠端檔案 HTTP bearer 授權的令牌。如果為 True，則使用從 diffusers-cli login 生成的令牌（儲存在 ~/.huggingface 中）。
• revision (str, 可選, 預設為 "main") — 要使用的特定模型版本。它可以是分支名稱、標籤名稱、提交 ID 或 Git 允許的任何識別符號。
• subfolder (str, 可選, 預設為 "") — 模型檔案在 Hub 或本地較大模型倉庫中的子資料夾位置。
• mirror (str, 可選) — 如果您在中國下載模型，則映象源可以解決可訪問性問題。我們不保證源的及時性或安全性，您應該參考映象站點以獲取更多資訊。

引數

• pretrained_model_name_or_path_or_dict (str 或 os.PathLike 或 dict) — 請參閱 lora_state_dict()。
• adapter_name (str, 可選) — 用於引用已載入介面卡模型的介面卡名稱。如果未指定，將使用 default_{i}，其中 i 是正在載入的介面卡總數。
• low_cpu_mem_usage (bool, 可選) — 透過僅載入預訓練的 LoRA 權重而不初始化隨機權重來加快模型載入速度。
• hotswap (bool, 可選) — 預設為 False。是否用新載入的介面卡就地替換現有（LoRA）介面卡。這意味著，不是載入額外的介面卡，而是將現有介面卡權重替換為新介面卡的權重。這可以更快且更節省記憶體。然而，熱插拔的主要優點是，當模型使用 torch.compile 編譯時，載入新介面卡不需要重新編譯模型。使用熱插拔時，傳入的 adapter_name 應該是已載入介面卡的名稱。

  如果新介面卡和舊介面卡具有不同的秩和/或 LoRA alpha（即縮放），則在載入介面卡之前需要呼叫一個額外的方法：

引數

• save_directory (str 或 os.PathLike) — 儲存 LoRA 引數的目錄。如果不存在，則將建立。
• unet_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 對應於 unet 的 LoRA 層狀態字典。
• text_encoder_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 對應於 text_encoder 的 LoRA 層狀態字典。必須明確傳遞文字編碼器 LoRA 狀態字典，因為它來自 🤗 Transformers。
• is_main_process (bool, 可選, 預設為 True) — 呼叫此函式的程序是否為主程序。在分散式訓練期間很有用，您需要在所有程序上呼叫此函式。在這種情況下，僅在主程序上設定 is_main_process=True 以避免競爭條件。
• save_function (Callable) — 用於儲存狀態字典的函式。在分散式訓練期間需要將 torch.save 替換為其他方法時很有用。可以透過環境變數 DIFFUSERS_SAVE_MODE 配置。
• safe_serialization (bool, 可選, 預設為 True) — 是否使用 safetensors 或傳統 PyTorch 方式（帶 pickle）儲存模型。
• unet_lora_adapter_metadata — 與 unet 關聯的 LoRA 介面卡元資料，將隨狀態字典一起序列化。
• text_encoder_lora_adapter_metadata — 與文字編碼器關聯的 LoRA 介面卡元資料，將隨狀態字典一起序列化。

引數

• prompt (str 或 List[str], 可選) — 要編碼的提示。
• device — (torch.device): torch 裝置
• num_images_per_prompt (int) — 每個提示應生成的影像數量。
• do_classifier_free_guidance (bool) — 是否使用分類器自由指導。
• negative_prompt (str 或 List[str], 可選) — 不用於引導影像生成的提示。如果未定義，則必須傳遞 negative_prompt_embeds。當不使用指導時（即，如果 guidance_scale 小於 1 則忽略），此引數將被忽略。
• prompt_embeds (torch.Tensor, 可選) — 預生成的文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，將從 prompt 輸入引數生成文字嵌入。
• negative_prompt_embeds (torch.Tensor, 可選) — 預生成的負文字嵌入。可用於輕鬆調整文字輸入，例如提示權重。如果未提供，negative_prompt_embeds 將從 negative_prompt 輸入引數生成。
• lora_scale (float, 可選) — 應用於文字編碼器所有 LoRA 層的 LoRA 比例（如果已載入 LoRA 層）。
• clip_skip (int, 可選) — 在計算提示嵌入時，從 CLIP 跳過的層數。值為 1 表示將使用倒數第二層的輸出計算提示嵌入。