TRL 文件

BCO 訓練器

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

BCO 訓練器

TRL 支援二元分類器最佳化(Binary Classifier Optimization, BCO)。BCO 的作者訓練了一個二元分類器,其 logit 作為獎勵,使得分類器將 {提示, 選擇的補全} 對對映為 1,將 {提示, 拒絕的補全} 對對映為 0。要檢視完整示例,請參閱 examples/scripts/bco.py

期望的資料集型別

BCOTrainer 需要一個非配對偏好資料集BCOTrainer 同時支援對話式標準資料集格式。當提供對話式資料集時,訓練器將自動對資料集應用聊天模板。

期望的模型格式

BCO 訓練器需要一個 `AutoModelForCausalLM` 型別的模型,而 PPO 則需要一個 `AutoModelForCausalLMWithValueHead` 型別的模型用於價值函式。

使用 BCOTrainer

要檢視詳細示例,請參閱 examples/scripts/bco.py 指令碼。在高層次上,我們需要用我們希望訓練的 model 和一個參考 ref_model 來初始化 BCOTrainer,我們將使用參考模型來計算偏好和非偏好響應的隱含獎勵。

beta 指的是隱含獎勵的超引數,資料集包含上面列出的 3 個條目。請注意,modelref_model 需要具有相同的架構(即僅解碼器或編碼器-解碼器)。

training_args = BCOConfig(
    beta=0.1,
)

bco_trainer = BCOTrainer(
    model,
    model_ref,
    args=training_args,
    train_dataset=train_dataset,
    processing_class=tokenizer,
)

之後就可以呼叫

bco_trainer.train()

底層分佈匹配 (UDM)

在實際場景中,“贊”和“踩”資料集的提示底層分佈很可能會有差異。考慮一個部署用於使用者反饋的 LLM:如果模型在寫作任務上表現出色,但在編碼任務上表現不佳,那麼“贊”資料集將主要由寫作相關的提示主導,而“踩”資料集將包含大部分編碼相關的提示。
如果您期望的和不期望的資料集中的提示差異很大,啟用 UDM 會很有用。

選擇一個嵌入模型和分詞器

embedding_model = AutoModel.from_pretrained(your_model_id)
embedding_tokenizer = AutoTokenizer.from_pretrained(your_model_id)

# customize this function depending on your embedding model
def embed_prompt(input_ids, attention_mask, model):
    outputs = model(input_ids=input_ids, attention_mask=attention_mask)
    return outputs.last_hidden_state.mean(dim=1)

embedding_model = Accelerator().prepare_model(self.embedding_model)
embedding_func = partial(embed_prompt, model=embedding_model)

設定 prompt_sample_size 來定義選擇多少個提示來訓練 UDM 分類器,並使用提供的嵌入函式開始訓練

training_args = BCOConfig(
    beta=0.1,
    prompt_sample_size=512,
)

bco_trainer = BCOTrainer(
    model,
    model_ref,
    args=training_args,
    train_dataset=train_dataset,
    processing_class=tokenizer,
    embedding_func=embedding_func,
    embedding_tokenizer=self.embedding_tokenizer,
)

bco_trainer.train()

對於混合專家模型:啟用輔助損失

如果負載在專家之間大致均勻分佈,MOE(專家混合模型)效率最高。
為了確保在偏好調整期間類似地訓練 MOE,將負載均衡器的輔助損失新增到最終損失中是有益的。

透過在模型配置(例如 MixtralConfig)中設定 output_router_logits=True 來啟用此選項。
要調整輔助損失對總損失的貢獻程度,請使用超引數 router_aux_loss_coef=...(預設值:0.001)。

BCOTrainer

class trl.BCOTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.modules.module.Module, str] = None ref_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.modules.module.Module, str, NoneType] = None args: BCOConfig = None train_dataset: typing.Optional[datasets.arrow_dataset.Dataset] = None eval_dataset: typing.Union[datasets.arrow_dataset.Dataset, dict[str, datasets.arrow_dataset.Dataset], NoneType] = None processing_class: typing.Union[transformers.tokenization_utils_base.PreTrainedTokenizerBase, transformers.image_processing_utils.BaseImageProcessor, transformers.feature_extraction_utils.FeatureExtractionMixin, transformers.processing_utils.ProcessorMixin, NoneType] = None data_collator: typing.Optional[transformers.data.data_collator.DataCollator] = None model_init: typing.Optional[typing.Callable[[], transformers.modeling_utils.PreTrainedModel]] = None callbacks: typing.Optional[list[transformers.trainer_callback.TrainerCallback]] = None optimizers: tuple = (None, None) preprocess_logits_for_metrics: typing.Optional[typing.Callable[[torch.Tensor, torch.Tensor], torch.Tensor]] = None peft_config: typing.Optional[dict] = None compute_metrics: typing.Optional[typing.Callable[[transformers.trainer_utils.EvalLoopOutput], dict]] = None model_adapter_name: typing.Optional[str] = None ref_adapter_name: typing.Optional[str] = None embedding_func: typing.Optional[typing.Callable] = None embedding_tokenizer: typing.Optional[transformers.tokenization_utils_base.PreTrainedTokenizerBase] = None )

引數

  • model (transformers.PreTrainedModel) — 要訓練的模型,最好是 AutoModelForSequenceClassification
  • ref_model (PreTrainedModelWrapper) — 帶有因果語言建模頭的 Hugging Face Transformer 模型。用於隱式獎勵計算和損失。如果沒有提供參考模型,訓練器將建立一個與待最佳化模型具有相同架構的參考模型。
  • args (BCOConfig) — 用於訓練的引數。
  • train_dataset (datasets.Dataset) — 用於訓練的資料集。
  • eval_dataset (datasets.Dataset) — 用於評估的資料集。
  • processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin or ProcessorMixin, 可選, 預設為 None) — 用於處理資料的處理類。如果提供,將用於自動處理模型的輸入,並將與模型一起儲存,以便更容易地重新執行中斷的訓練或重用微調後的模型。
  • data_collator (transformers.DataCollator, 可選, 預設為 None) — 用於訓練的資料整理器。如果未指定,將使用預設的資料整理器 (DPODataCollatorWithPadding),它將序列填充到批次中序列的最大長度,給定一個成對序列的資料集。
  • model_init (Callable[[], transformers.PreTrainedModel]) — 用於訓練的模型初始化器。如果未指定,將使用預設的模型初始化器。
  • callbacks (list[transformers.TrainerCallback]) — 用於訓練的回撥函式。
  • optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — 用於訓練的最佳化器和排程器。
  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — 在計算指標前用於預處理 logits 的函式。
  • peft_config (dict, 預設為 None) — 用於訓練的 PEFT 配置。如果傳遞了 PEFT 配置,模型將被包裝在 PEFT 模型中。
  • compute_metrics (Callable[[EvalPrediction], dict], 可選) — 用於計算指標的函式。必須接受一個 EvalPrediction 並返回一個從字串到指標值的字典。
  • model_adapter_name (str, 預設為 None) — 當使用帶有多個介面卡的 LoRA 時,訓練目標 PEFT 介面卡的名稱。
  • ref_adapter_name (str, 預設為 None) — 當使用帶有多個介面卡的 LoRA 時,參考 PEFT 介面卡的名稱。

根據 BCO 論文初始化 BCOTrainer。

訓練

< >

( resume_from_checkpoint: typing.Union[str, bool, NoneType] = None trial: typing.Union[ForwardRef('optuna.Trial'), dict[str, typing.Any], NoneType] = None ignore_keys_for_eval: typing.Optional[list[str]] = None **kwargs )

引數

  • resume_from_checkpoint (str or bool, 可選) — 如果是 str,則為之前 `Trainer` 例項儲存的檢查點的本地路徑。如果是 bool 且等於 `True`,則載入由之前 `Trainer` 例項儲存在 *args.output_dir* 中的最後一個檢查點。如果存在,訓練將從此處載入的模型/最佳化器/排程器狀態恢復。
  • trial (optuna.Trialdict[str, Any], 可選) — 用於超引數搜尋的試驗執行或超引數字典。
  • ignore_keys_for_eval (list[str], 可選) — 在訓練期間收集評估預測時,模型輸出中應忽略的鍵列表(如果輸出是字典)。
  • kwargs (dict[str, Any], 可選) — 用於隱藏已棄用引數的附加關鍵字引數

主訓練入口點。

save_model

< >

( output_dir: typing.Optional[str] = None _internal_call: bool = False )

將儲存模型,以便您可以使用 `from_pretrained()` 重新載入它。

僅從主程序儲存。

push_to_hub

< >

( commit_message: typing.Optional[str] = 'End of training' blocking: bool = True token: typing.Optional[str] = None revision: typing.Optional[str] = None **kwargs )

引數

  • commit_message (str, 可選, 預設為 "End of training") — 推送時的提交資訊。
  • blocking (bool, 可選, 預設為 True) — 函式是否應僅在 `git push` 完成後返回。
  • token (str, 可選, 預設為 None) — 具有寫入許可權的令牌,用於覆蓋 Trainer 的原始引數。
  • revision (str, 可選) — 要提交的 git 修訂版本。預設為“main”分支的頭部。
  • kwargs (dict[str, Any], 可選) — 傳遞給 ~Trainer.create_model_card 的附加關鍵字引數。

將 `self.model` 和 `self.processing_class` 上傳到 🤗 模型中心的 `self.args.hub_model_id` 儲存庫。

BCOConfig

class trl.BCOConfig

< >

( output_dir: typing.Optional[str] = None overwrite_output_dir: bool = False do_train: bool = False do_eval: bool = False do_predict: bool = False eval_strategy: typing.Union[transformers.trainer_utils.IntervalStrategy, str] = 'no' prediction_loss_only: bool = False per_device_train_batch_size: int = 8 per_device_eval_batch_size: int = 8 per_gpu_train_batch_size: typing.Optional[int] = None per_gpu_eval_batch_size: typing.Optional[int] = None gradient_accumulation_steps: int = 1 eval_accumulation_steps: typing.Optional[int] = None eval_delay: typing.Optional[float] = 0 torch_empty_cache_steps: typing.Optional[int] = None learning_rate: float = 5e-05 weight_decay: float = 0.0 adam_beta1: float = 0.9 adam_beta2: float = 0.999 adam_epsilon: float = 1e-08 max_grad_norm: float = 1.0 num_train_epochs: float = 3.0 max_steps: int = -1 lr_scheduler_type: typing.Union[transformers.trainer_utils.SchedulerType, str] = 'linear' lr_scheduler_kwargs: typing.Union[dict[str, typing.Any], str, NoneType] = <factory> warmup_ratio: float = 0.0 warmup_steps: int = 0 log_level: str = 'passive' log_level_replica: str = 'warning' log_on_each_node: bool = True logging_dir: typing.Optional[str] = None logging_strategy: typing.Union[transformers.trainer_utils.IntervalStrategy, str] = 'steps' logging_first_step: bool = False logging_steps: float = 10 logging_nan_inf_filter: bool = True save_strategy: typing.Union[transformers.trainer_utils.SaveStrategy, str] = 'steps' save_steps: float = 500 save_total_limit: typing.Optional[int] = None save_safetensors: typing.Optional[bool] = True save_on_each_node: bool = False save_only_model: bool = False restore_callback_states_from_checkpoint: bool = False no_cuda: bool = False use_cpu: bool = False use_mps_device: bool = False seed: int = 42 data_seed: typing.Optional[int] = None jit_mode_eval: bool = False use_ipex: bool = False bf16: typing.Optional[bool] = None fp16: bool = False fp16_opt_level: str = 'O1' half_precision_backend: str = 'auto' bf16_full_eval: bool = False fp16_full_eval: bool = False tf32: typing.Optional[bool] = None local_rank: int = -1 ddp_backend: typing.Optional[str] = None tpu_num_cores: typing.Optional[int] = None tpu_metrics_debug: bool = False debug: typing.Union[str, list[transformers.debug_utils.DebugOption]] = '' dataloader_drop_last: bool = False eval_steps: typing.Optional[float] = None dataloader_num_workers: int = 0 dataloader_prefetch_factor: typing.Optional[int] = None past_index: int = -1 run_name: typing.Optional[str] = None disable_tqdm: typing.Optional[bool] = None remove_unused_columns: typing.Optional[bool] = True label_names: typing.Optional[list[str]] = None load_best_model_at_end: typing.Optional[bool] = False metric_for_best_model: typing.Optional[str] = None greater_is_better: typing.Optional[bool] = None ignore_data_skip: bool = False fsdp: typing.Union[list[transformers.trainer_utils.FSDPOption], str, NoneType] = '' fsdp_min_num_params: int = 0 fsdp_config: typing.Union[dict[str, typing.Any], str, NoneType] = None fsdp_transformer_layer_cls_to_wrap: typing.Optional[str] = None accelerator_config: typing.Union[dict, str, NoneType] = None deepspeed: typing.Union[dict, str, NoneType] = None label_smoothing_factor: float = 0.0 optim: typing.Union[transformers.training_args.OptimizerNames, str] = 'adamw_torch' optim_args: typing.Optional[str] = None adafactor: bool = False group_by_length: bool = False length_column_name: typing.Optional[str] = 'length' report_to: typing.Union[NoneType, str, list[str]] = None ddp_find_unused_parameters: typing.Optional[bool] = None ddp_bucket_cap_mb: typing.Optional[int] = None ddp_broadcast_buffers: typing.Optional[bool] = None dataloader_pin_memory: bool = True dataloader_persistent_workers: bool = False skip_memory_metrics: bool = True use_legacy_prediction_loop: bool = False push_to_hub: bool = False resume_from_checkpoint: typing.Optional[str] = None hub_model_id: typing.Optional[str] = None hub_strategy: typing.Union[transformers.trainer_utils.HubStrategy, str] = 'every_save' hub_token: typing.Optional[str] = None hub_private_repo: typing.Optional[bool] = None hub_always_push: bool = False hub_revision: typing.Optional[str] = None gradient_checkpointing: bool = False gradient_checkpointing_kwargs: typing.Union[dict[str, typing.Any], str, NoneType] = None include_inputs_for_metrics: bool = False include_for_metrics: list = <factory> eval_do_concat_batches: bool = True fp16_backend: str = 'auto' push_to_hub_model_id: typing.Optional[str] = None push_to_hub_organization: typing.Optional[str] = None push_to_hub_token: typing.Optional[str] = None mp_parameters: str = '' auto_find_batch_size: bool = False full_determinism: bool = False torchdynamo: typing.Optional[str] = None ray_scope: typing.Optional[str] = 'last' ddp_timeout: int = 1800 torch_compile: bool = False torch_compile_backend: typing.Optional[str] = None torch_compile_mode: typing.Optional[str] = None include_tokens_per_second: typing.Optional[bool] = False include_num_input_tokens_seen: typing.Optional[bool] = False neftune_noise_alpha: typing.Optional[float] = None optim_target_modules: typing.Union[NoneType, str, list[str]] = None batch_eval_metrics: bool = False eval_on_start: bool = False use_liger_kernel: typing.Optional[bool] = False liger_kernel_config: typing.Optional[dict[str, bool]] = None eval_use_gather_object: typing.Optional[bool] = False average_tokens_across_devices: typing.Optional[bool] = True max_length: typing.Optional[int] = 1024 max_prompt_length: typing.Optional[int] = 512 max_completion_length: typing.Optional[int] = None beta: float = 0.1 label_pad_token_id: int = -100 padding_value: typing.Optional[int] = None truncation_mode: str = 'keep_end' disable_dropout: bool = True generate_during_eval: bool = False is_encoder_decoder: typing.Optional[bool] = None precompute_ref_log_probs: bool = False model_init_kwargs: typing.Optional[dict[str, typing.Any]] = None ref_model_init_kwargs: typing.Optional[dict[str, typing.Any]] = None dataset_num_proc: typing.Optional[int] = None prompt_sample_size: int = 1024 min_density_ratio: float = 0.5 max_density_ratio: float = 10.0 )

引數

  • max_length (int or None, 可選, 預設為 1024) — 批次中序列(提示 + 補全)的最大長度。如果要使用預設的資料整理器,則此引數是必需的。
  • max_prompt_length (int or None, 可選, 預設為 512) — 提示的最大長度。如果要使用預設的資料整理器,則此引數是必需的。
  • max_completion_length (int or None, 可選, 預設為 None) — 補全的最大長度。如果要使用預設的資料整理器且模型是編碼器-解碼器模型,則此引數是必需的。
  • beta (float, 可選, 預設為 0.1) — 控制與參考模型偏差的引數。較高的 β 意味著與參考模型的偏差較小。
  • label_pad_token_id (int, 可選, 預設為 -100) — 標籤填充標記 ID。如果要使用預設的資料整理器,則此引數是必需的。
  • padding_value (int or None, 可選, 預設為 None) — 要使用的填充值。如果為 None,則使用分詞器的填充值。
  • truncation_mode (str, 可選, 預設為 "keep_end") — 當提示過長時使用的截斷模式。可能的值為 "keep_end""keep_start"。如果要使用預設的資料整理器,則此引數是必需的。
  • disable_dropout (bool, 可選, 預設為 True) — 是否在模型和參考模型中停用 dropout。
  • generate_during_eval (bool, 可選, 預設為 False) — 如果為 True,則在評估期間生成並記錄模型和參考模型的補全內容到 W&B 或 Comet。
  • is_encoder_decoder (bool or None, 可選, 預設為 None) — 當使用 model_init 引數(可呼叫物件)來例項化模型而不是 model 引數時,您需要指定可呼叫物件返回的模型是否為編碼器-解碼器模型。
  • precompute_ref_log_probs (bool, 可選, 預設為 False) — 是否為訓練和評估資料集預先計算參考模型的對數機率。這在不使用參考模型進行訓練時非常有用,可以減少所需的總 GPU 記憶體。
  • model_init_kwargs (dict[str, Any] or None, 可選, 預設為 None) — 當從字串例項化模型時,傳遞給 AutoModelForCausalLM.from_pretrained 的關鍵字引數。
  • ref_model_init_kwargs (dict[str, Any] or None, 可選, 預設為 None) — 當從字串例項化參考模型時,傳遞給 AutoModelForCausalLM.from_pretrained 的關鍵字引數。
  • dataset_num_proc (int or None, 可選, 預設為 None) — 用於處理資料集的程序數。
  • prompt_sample_size (int, 可選, 預設為 1024) — 輸入到密度比分類器的提示數量。
  • min_density_ratio (float, 可選, 預設為 0.5) — 密度比的最小值。估計的密度比會被限制在這個值。
  • max_density_ratio (float, 可選, 預設為 10.0) — 密度比的最大值。估計的密度比會被限制在這個值。

BCOTrainer 的配置類。

這個類僅包含 BCO 訓練特有的引數。有關訓練引數的完整列表,請參閱 TrainingArguments 文件。請注意,此類中的預設值可能與 TrainingArguments 中的預設值不同。

使用 HfArgumentParser,我們可以將此類別轉換為可在命令列上指定的 argparse 引數。

< > 在 GitHub 上更新

© . This site is unofficial and not affiliated with Hugging Face, Inc.