Diffusers 文件
RePaint排程器
並獲得增強的文件體驗
開始使用
RePaint排程器
RePaintScheduler 是一個基於DDPM的影像修復排程器，用於處理極端遮罩的無監督影像修復。它旨在與 RePaintPipeline 配合使用，並基於 Andreas Lugmayr 等人的論文 RePaint: Inpainting using Denoising Diffusion Probabilistic Models。
論文摘要如下：
自由形式的影像修復任務是在由任意二進位制遮罩指定的區域中為影像新增新內容。大多數現有方法針對特定遮罩分佈進行訓練，這限制了它們對未知遮罩型別的泛化能力。此外，使用畫素級和感知損失進行訓練通常會導致對缺失區域進行簡單的紋理擴充套件，而不是語義上有意義的生成。在這項工作中，我們提出了 RePaint：一種基於去噪擴散機率模型（DDPM）的影像修復方法，適用於甚至極端的遮罩。我們採用預訓練的無條件DDPM作為生成先驗。為了調節生成過程，我們只通過使用給定影像資訊對未遮罩區域進行取樣來改變逆向擴散迭代。由於此技術不修改或調節原始DDPM網路本身，因此該模型為任何影像修復形式生成高質量和多樣化的輸出影像。我們使用標準和極端遮罩驗證了我們用於人臉和通用影像修復的方法。RePaint 在至少六種遮罩分佈中的五種上優於最先進的自迴歸和GAN方法。GitHub儲存庫：此http URL。
原始實現可在 andreas128/RePaint 找到。
RePaintScheduler
class diffusers.RePaintScheduler
< source 原始碼 >( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' eta: float = 0.0 trained_betas: typing.Optional[numpy.ndarray] = None clip_sample: bool = True )
引數
- num_train_timesteps (
int, 預設為 1000) — 訓練模型所需的擴散步數。 - beta_start (
float, 預設為 0.0001) — 推理的起始beta值。 - beta_end (
float, 預設為 0.02) — 最終的beta值。 - beta_schedule (
str, 預設為"linear") — beta排程，將beta範圍對映到模型步進的beta序列。可選擇linear、scaled_linear、squaredcos_cap_v2或sigmoid。 - eta (
float) — 擴散步驟中新增噪聲的權重。如果其值在0.0和1.0之間，則對應於DDIM排程器；如果其值在-0.0和1.0之間，則對應於DDPM排程器。 - trained_betas (
np.ndarray, 可選) — 直接向建構函式傳遞一個beta陣列以繞過beta_start和beta_end。 - clip_sample (
bool, 預設為True) — 將預測樣本裁剪到-1和1之間以獲得數值穩定性。
RePaintScheduler 是用於給定遮罩內DDPM影像修復的排程器。
此模型繼承自 SchedulerMixin 和 ConfigMixin。檢視超類文件以瞭解庫為所有排程器（例如載入和儲存）實現的通用方法。
scale_model_input
< source 原始碼 >( sample: Tensor timestep: typing.Optional[int] = None ) → torch.Tensor
確保與需要根據當前時間步縮放去噪模型輸入的排程器互換使用。
set_timesteps
< source 原始碼 >( num_inference_steps: int jump_length: int = 10 jump_n_sample: int = 10 device: typing.Union[str, torch.device] = None )
設定用於擴散鏈的離散時間步（在推理之前執行）。
步驟
< source 原始碼 >( model_output: Tensor timestep: int sample: Tensor original_image: Tensor mask: Tensor generator: typing.Optional[torch._C.Generator] = None return_dict: bool = True ) → RePaintSchedulerOutput 或 tuple
引數
- model_output (
torch.Tensor) — 從學習擴散模型直接輸出。 - timestep (
int) — 擴散鏈中的當前離散時間步。 - sample (
torch.Tensor) — 擴散過程建立的當前樣本例項。 - original_image (
torch.Tensor) — 要進行影像修復的原始影像。 - mask (
torch.Tensor) — 值為0.0表示原始影像中需要修復的部分的遮罩。 - generator (
torch.Generator, 可選) — 隨機數生成器。 - return_dict (
bool, 可選, 預設為True) — 是否返回 RePaintSchedulerOutput 或tuple。
返回
RePaintSchedulerOutput 或 tuple
如果 return_dict 為 True，則返回 RePaintSchedulerOutput，否則返回一個元組，其中第一個元素是樣本張量。
透過逆轉 SDE 預測前一個時間步的樣本。此函式從學習到的模型輸出（通常是預測的噪聲）傳播擴散過程。
RePaintSchedulerOutput
class diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput
< source 原始碼 >( prev_sample: Tensor pred_original_sample: Tensor )
排程器步進函式輸出的輸出類。