輔助方法

PEFT 的輔助函式集合。

檢查模型是否為 PEFT 模型

peft.helpers.check_if_peft_model

< 來源 >

( model_name_or_path: str ) → bool

引數

model_name_or_path (str) — 要檢查的模型 ID，可以是本地的或在 Hugging Face Hub 上的。

布林值

如果模型是 PEFT 模型，則返回 True，否則返回 False。

檢查模型是否為 PEFT 模型。

臨時調整 LoraLayer 模組中的介面卡縮放

peft.helpers.rescale_adapter_scale

< 來源 >

( model multiplier )

引數

model — 包含 LoraLayer 模組的模型，其縮放比例將被調整。
multiplier (float 或 int) — 調整 scaling 屬性的乘數。必須是 float 或 int 型別。

引發

ValueError

ValueError — 如果模型不包含任何 LoraLayer 例項，則表明該模型不支援縮放。

一個用於臨時調整模型中 LoRA 介面卡縮放比例的上下文管理器。

當上下文管理器退出時，原始的縮放值將被恢復。此上下文管理器適用於直接載入了 LoRA 介面卡的 transformers 和 diffusers 模型。

對於 LoRA，在 multiplier 屬於 [0, 1] 範圍內應用此上下文管理器，與應用 wise-ft 完全等效（詳見 #1940）。如果用於微調的訓練資料與推理時使用的測試資料之間存在分佈偏移，這可以提高模型的效能。

警告：據報告，在使用蘋果的 MPS 後端進行 PyTorch 計算時，退出上下文後需要新增一個短暫的休眠時間，以確保縮放比例完全恢復。

示例

>>> model = ModelWithLoraLayer()
>>> multiplier = 0.5
>>> with rescale_adapter_scale(model, multiplier):
...     outputs = model(**inputs)  # Perform operations with the scaled model
>>> outputs = model(**inputs)  # The original scaling values are restored here

用於停用 LoRA 層前向方法中輸入資料型別轉換的上下文管理器

peft.helpers.disable_input_dtype_casting

< 來源 >

( model: Module active: bool = True )

引數

model (nn.Module) — 包含 PEFT 模組的模型，其輸入資料型別轉換將被調整。
active (bool) — 上下文管理器是否啟用（預設）或未啟用。

此上下文管理器停用將輸入資料型別轉換為權重的資料型別。

< > 在 GitHub 上更新