在 Hugging Face 上使用 🧨 Diffusers

Diffusers 是最先進的預訓練擴散模型庫，可用於生成影像、音訊甚至分子的 3D 結構。無論您是尋找簡單的推理解決方案，還是想訓練自己的擴散模型，Diffusers 都是一個模組化工具箱，支援這兩種情況。該庫的設計側重於易用性而非效能、簡單性而非複雜性，以及可定製性而非抽象性。

在 Hub 中探索 Diffusers

Hub 上有超過 10,000 個與 diffusers 相容的管道，您可以透過在模型頁面左側進行篩選來找到它們。擴散系統通常由多個元件組成，例如文字編碼器、UNet、VAE 和排程器。儘管它們不是獨立的模型，但管道抽象使其易於用於推理或訓練。

您可以找到適用於許多不同任務的擴散管道：

如果您想在不下載模型的情況下測試它們，可以直接在瀏覽器中試用模型，這要歸功於內建瀏覽器小部件！

Diffusers 模型儲存庫包含所有必需的模型子元件，例如用於編碼影像和解碼潛變數的變分自編碼器、文字編碼器、Transformer 模型等。這些子元件以多資料夾佈局組織。

每個子資料夾都包含每個元件的權重和配置（如果適用），類似於 Transformers 模型。

權重通常儲存為 safetensors 檔案，配置通常是包含模型架構資訊的 json 檔案。

所有 diffusers 管道都只需一行程式碼即可使用！要執行生成，我們建議始終從 DiffusionPipeline 開始。

from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0")

如果您想載入特定的管道元件（例如 UNet），可以透過以下方式進行：

from diffusers import UNet2DConditionModel

unet = UNet2DConditionModel.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", subfolder="unet")

所有管道類、模型類和排程器類都與 Hub 完全相容。更具體地說，它們可以使用 from_pretrained() 方法輕鬆地從 Hub 載入，並可以使用 push_to_hub() 方法與他人共享。

欲瞭解更多詳情，請查閱文件。