Diffusers

加入 Hugging Face 社群

並獲得增強的文件體驗

在模型、資料集和 Spaces 上進行協作

透過加速推理獲得更快的示例

切換文件主題

開始使用

SD3Transformer2D

此類別僅在將權重載入到 SD3Transformer2DModel 時有用。如果需要將權重載入到文字編碼器或文字編碼器和 SD3Transformer2DModel 中，請改用 SD3LoraLoaderMixin 類別。

SD3Transformer2DLoadersMixin 類別目前僅載入 IP-Adapter 權重，但未來將用於儲存權重和載入 LoRA。

要了解有關如何載入 LoRA 權重的更多資訊，請參閱 LoRA 載入指南。

( )

將 IP-Adapter 和 LoRA 層載入到 [SD3Transformer2DModel] 中。

( state_dict: typing.Dict low_cpu_mem_usage: bool = True )

引數

state_dict (Dict) — 狀態字典，包含“ip_adapter”鍵（包含注意力處理器引數）和“image_proj”鍵（包含影像投影網路引數）。
low_cpu_mem_usage (bool, 可選, 如果 torch 版本 >= 1.9.0 則預設為 True，否則為 False) — 透過僅載入預訓練權重而不初始化權重來加速模型載入。這還嘗試在載入模型時，CPU 記憶體使用量（包括峰值記憶體）不超過模型大小的 1 倍。僅支援 PyTorch >= 1.9.0。如果您使用的是舊版本 PyTorch，將此引數設定為 True 將引發錯誤。

設定 IP-Adapter 注意力處理器、影像投影並載入狀態字典。