PEFT

🤗 PEFT (Parameter-Efficient Fine-Tuning，引數高效微調) 是一個庫，用於將大型預訓練模型高效地應用於各種下游任務，而無需微調模型的所有引數，因為這會耗費巨大的成本。PEFT 方法僅微調少量（額外的）模型引數——顯著降低了計算和儲存成本——同時能產生與完全微調模型相當的效能。這使得在消費級硬體上訓練和儲存大型語言模型（LLM）變得更加容易。

PEFT 與 Transformers、Diffusers 和 Accelerate 庫整合，提供了一種更快、更簡單的方式來載入、訓練和使用大型模型進行推理。

快速入門

如果您是 🤗 PEFT 的新手，請從這裡開始，以瞭解該庫的主要功能以及如何使用 PEFT 方法訓練模型。

操作指南

實用的指南，演示如何在不同型別的任務（如影像分類、因果語言建模、自動語音識別等）中應用各種 PEFT 方法。瞭解如何將 🤗 PEFT 與 DeepSpeed 和完全分片資料並行指令碼結合使用。

概念指南

更好地從理論上理解 LoRA 和各種軟提示方法如何幫助減少可訓練引數的數量，從而使訓練更加高效。

參考

關於 🤗 PEFT 類和方法工作原理的技術性描述。

< > 在 GitHub 上更新