在 Hugging Face 使用 PEFT

🤗 引數高效微調 (PEFT) 是一個庫，用於高效地使預訓練語言模型適應各種下游應用程式，而無需微調模型的所有引數。

探索 Hub 上的 PEFT

您可以透過在模型頁面左側進行篩選來查詢 PEFT 模型。

安裝

要開始使用，您可以檢視 PEFT 文件中的快速入門。要安裝，請遵循 PEFT 安裝指南。您也可以透過 pip 使用以下一行命令進行安裝

$ pip install peft

使用現有模型

所有 PEFT 模型都可以從 Hub 載入。要使用 PEFT 模型，您還需要載入經過微調的基礎模型，如下所示。每個微調模型都在其模型卡片中包含基礎模型。

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel, PeftConfig

base_model = "mistralai/Mistral-7B-v0.1"
adapter_model = "dfurman/Mistral-7B-Instruct-v0.2"

model = AutoModelForCausalLM.from_pretrained(base_model)
model = PeftModel.from_pretrained(model, adapter_model)
tokenizer = AutoTokenizer.from_pretrained(base_model)

model = model.to("cuda")
model.eval()

載入後，您可以將輸入傳遞給分詞器進行準備，並以常規 transformers 方式呼叫 model.generate()。

inputs = tokenizer("Tell me the recipe for chocolate chip cookie", return_tensors="pt")

with torch.no_grad():
    outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"), max_new_tokens=10)
    print(tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=True)[0])

它輸出以下內容

Tell me the recipe for chocolate chip cookie dough.

1. Preheat oven to 375 degrees F (190 degrees C).
2. In a large bowl, cream together 1/2 cup (1 stick) of butter or margarine, 1/2 cup granulated sugar, and 1/2 cup packed brown sugar.
3. Beat in 1 egg and 1 teaspoon vanilla extract.
4. Mix in 1 1/4 cups all-purpose flour.
5. Stir in 1/2 teaspoon baking soda and 1/2 teaspoon salt.
6. Fold in 3/4 cup semisweet chocolate chips.
7. Drop by

如果您想載入特定的 PEFT 模型，可以點選模型卡片中的“使用 PEFT”，即可獲得可用的程式碼片段！

其他資源

PEFT 倉庫
PEFT 文件
PEFT 模型

< > 在 GitHub 上更新