PEFT
加入 Hugging Face 社群
並獲得增強的文件體驗
模型合併
PEFT 提供了幾個內部工具，用於使用 TIES 和 DARE 方法合併 LoRA 介面卡。
peft.utils.merge_utils.prune
< 原始碼 > ( tensor: Tensor density: float method: typing.Literal['magnitude', 'random'] rescale: bool = False ) → torch.Tensor
引數
- tensor (
torch.Tensor) — 要剪枝的張量。 - density (
float) — 要保留的值的比例。應在 [0,1] 範圍內。 - method (
str) — 用於剪枝的方法。應為 [“magnitude”, “random”] 之一。 - rescale (
bool) — 是否重新縮放結果以保留原始張量的期望值。
剪枝後的張量。
根據 method 剪枝任務張量的值。
peft.utils.merge_utils.calculate_majority_sign_mask
< 原始碼 > ( tensor: Tensor method: typing.Literal['total', 'frequency'] = 'total' ) → torch.Tensor
引數
- tensor (
torch.Tensor) — 用於獲取掩碼的張量。 - method (
str) — 用於獲取掩碼的方法。應為 [“total”, “frequency”] 之一。
多數符號掩碼。
獲取跨任務張量的多數符號的掩碼。任務張量堆疊在維度 0 上。
peft.utils.merge_utils.disjoint_merge
< 原始碼 > ( task_tensors: Tensor majority_sign_mask: Tensor ) → torch.Tensor
引數
- task_tensors (
torch.Tensor) — 要合併的任務張量。 - majority_sign_mask (
torch.Tensor) — 跨任務張量的多數符號掩碼。
合併後的張量。
使用不相交合並方法合併任務張量。
peft.utils.merge_utils.task_arithmetic
< 原始碼 > ( task_tensors: list weights: Tensor ) → torch.Tensor
引數
- task_tensors(
List[torch.Tensor]) — 要合併的任務張量。 - weights (
torch.Tensor) — 任務張量的權重。
合併後的張量。
使用 `任務算術` 合併任務張量。
peft.utils.merge_utils.ties
< 原始碼 > ( task_tensors: list weights: Tensor density: float majority_sign_method: typing.Literal['total', 'frequency'] = 'total' ) → torch.Tensor
引數
- task_tensors(
List[torch.Tensor]) — 要合併的任務張量。 - weights (
torch.Tensor) — 任務張量的權重。 - density (
float) — 要保留的值的比例。應在 [0,1] 範圍內。 - majority_sign_method (
str) — 用於獲取多數符號掩碼的方法。應為 [“total”, “frequency”] 之一。
合併後的張量。
使用 `ties` 合併任務張量。
peft.utils.merge_utils.dare_linear
< 原始碼 > ( task_tensors: list weights: Tensor density: float ) → torch.Tensor
引數
- task_tensors(
List[torch.Tensor]) — 要合併的任務張量。 - weights (
torch.Tensor) — 任務張量的權重。 - density (
float) — 要保留的值的比例。應在 [0,1] 範圍內。
合併後的張量。
使用 `dare 線性` 方法合併任務張量。
peft.utils.merge_utils.dare_ties
< 原始碼 > ( task_tensors: list weights: Tensor density: float majority_sign_method: typing.Literal['total', 'frequency'] = 'total' ) → torch.Tensor
引數
- task_tensors(
List[torch.Tensor]) — 要合併的任務張量。 - weights (
torch.Tensor) — 任務張量的權重。 - density (
float) — 要保留的值的比例。應在 [0,1] 範圍內。 - majority_sign_method (
str) — 用於獲取多數符號掩碼的方法。應為 [“total”, “frequency”] 之一。
合併後的張量。
使用 `dare ties` 合併任務張量。
< > 在 GitHub 上更新
© . This site is unofficial and not affiliated with Hugging Face, Inc.