TRL 文件

ORPO 訓練器

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

ORPO 訓練器

概述

優勢比偏好最佳化(Odds Ratio Preference Optimization, ORPO)由 Jiwoo HongNoah LeeJames Thorne 在論文 《ORPO:無需參考模型的單階段偏好最佳化》 中提出。

論文摘要如下:

雖然近期針對語言模型的偏好對齊演算法取得了喜人的成果,但監督式微調(SFT)對於實現成功收斂仍然至關重要。在本文中,我們研究了 SFT 在偏好對齊背景下的關鍵作用,強調對不受歡迎的生成風格施加微小懲罰就足以實現偏好對齊的 SFT。基於此,我們提出了一種簡單創新的、無需參考模型的單階段優勢比偏好最佳化演算法——ORPO,從而省去了額外的偏好對齊階段。我們在經驗和理論上證明,在 125M 到 7B 的各種模型規模上,優勢比是 SFT 過程中對比受歡迎和不受歡迎風格的明智選擇。具體而言,僅在 UltraFeedback 資料集上使用 ORPO 微調 Phi-2 (2.7B)、Llama-2 (7B) 和 Mistral (7B) 的效能,就超過了引數量超過 7B 和 13B 的最先進語言模型:在 AlpacaEval_{2.0} 上最高提升 12.20%(圖 1),在 IFEval 上達到 66.19%(指令級寬鬆,表 6),在 MT-Bench 上達到 7.32 分(圖 12)。我們釋出了 Mistral-ORPO-alpha (7B) 和 Mistral-ORPO-beta (7B) 的程式碼和模型檢查點。

它研究了 SFT 在偏好對齊背景下的關鍵作用。該方法使用偏好資料,並提出:對不偏好的生成施加輕微懲罰,同時透過一個簡單的、附加到負對數似然(NLL)損失的對數優勢比項,為所選響應提供強烈的適應訊號,這對於偏好對齊的 SFT 來說已經足夠。

因此,ORPO 是一種無需參考模型的偏好最佳化演算法,它省去了額外的偏好對齊階段,從而節省了計算資源和記憶體。

官方程式碼可在 xfactlab/orpo 找到。

該後訓練方法由 Kashif RasulLewis TunstallAlvaro Bartolome 貢獻。

快速入門

本示例演示瞭如何使用 ORPO 方法訓練模型。我們使用 Qwen 0.5B 模型 作為基礎模型。我們使用來自 UltraFeedback 資料集 的偏好資料。你可以在資料集中檢視資料。

以下是訓練模型的指令碼

# train_orpo.py
from datasets import load_dataset
from trl import ORPOConfig, ORPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

training_args = ORPOConfig(output_dir="Qwen2-0.5B-ORPO")
trainer = ORPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()

使用以下命令執行指令碼

accelerate launch train_orpo.py

在 8 個 GPU 上進行分散式訓練,大約需要 30 分鐘。您可以透過檢視獎勵圖來驗證訓練進度。獎勵邊際的增長趨勢表明模型正在改進並隨時間生成更好的響應。

要檢視訓練後模型的表現,您可以使用 Transformers Chat CLI

$ transformers chat trl-lib/Qwen2-0.5B-ORPO
<quentin_gallouedec>:
What is the best programming language?

<trl-lib/Qwen2-0.5B-ORPO>:
It's challenging to determine the best programming language as no one language is perfect, as the complexity of a task and the type of project are significant factors. Some popular languages include Java, Python, JavaScript, and
C++. If you have specific needs or requirements for a specific project, it's important to choose the language that best suits those needs.                                                                                          

Here are some other factors to consider when choosing a programming language for a project:

 • Language proficiency: A good programming language is more likely to be easy to understand and use, and will allow developers to collaborate on projects more efficiently.                                     
 • Ease of use: There are tools and libraries available to make programming more accessible, so developers should choose a language that can help them get started easier.
 • Code readability: A clear and concise codebase should be easy to read and understand, especially when working with large projects.
 • Tool and framework support: There are numerous libraries available for Python, Java, and JavaScript, along with tools like IDEs and static code analysis tools.
 • Accessibility: Some languages and tools have features that make them more accessible to developers with disabilities, such as support for screen readers.
 • Version control: As your projects grow and complexity increases, version control tools can be beneficial for tracking changes.

預期的資料集型別

ORPO 需要一個偏好資料集ORPOTrainer 同時支援對話式標準資料集格式。當提供對話式資料集時,訓練器會自動將聊天模板應用於資料集。

儘管 ORPOTrainer 支援顯式和隱式提示,但我們建議使用顯式提示。如果提供隱式提示資料集,訓練器將自動從 "chosen""rejected" 列中提取提示。更多資訊,請參閱偏好風格部分。

示例指令碼

我們提供一個示例指令碼來使用 ORPO 方法訓練模型。該指令碼位於 examples/scripts/orpo.py

要使用 Qwen2 0.5B 模型UltraFeedback 資料集 上測試 ORPO 指令碼,請執行以下命令:

accelerate launch examples/scripts/orpo.py \
    --model_name_or_path Qwen/Qwen2-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized \
    --num_train_epochs 1 \
    --output_dir Qwen2-0.5B-ORPO

使用技巧

對於混合專家模型:啟用輔助損失

如果負載在專家之間大致均勻分佈,MOE(專家混合模型)效率最高。
為了確保在偏好調整期間類似地訓練 MOE,將負載均衡器的輔助損失新增到最終損失中是有益的。

透過在模型配置(例如 MixtralConfig)中設定 output_router_logits=True 來啟用此選項。
要調整輔助損失對總損失的貢獻程度,請在模型配置中使用超引數 router_aux_loss_coef=...(預設值:0.001)。

記錄的指標

在訓練和評估期間,我們記錄以下獎勵指標

  • rewards/chosen:策略模型對所選響應的平均對數機率,按 beta 縮放
  • rewards/rejected:策略模型對拒絕響應的平均對數機率,按 beta 縮放
  • rewards/accuracies:所選獎勵大於相應被拒獎勵的頻率的平均值
  • rewards/margins:選中獎勵和相應拒絕獎勵之間的平均差異
  • log_odds_chosen:所選響應相對於拒絕響應的平均對數優勢比
  • log_odds_ratio:`log(sigmoid(log_odds_chosen))` 的平均值
  • nll_loss:來自損失的 SFT 部分的、關於所選響應的平均負對數似然損失

ORPOTrainer

class trl.ORPOTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.modules.module.Module, str, NoneType] = None args: typing.Optional[trl.trainer.orpo_config.ORPOConfig] = None data_collator: typing.Optional[transformers.data.data_collator.DataCollator] = None train_dataset: typing.Optional[datasets.arrow_dataset.Dataset] = None eval_dataset: typing.Union[datasets.arrow_dataset.Dataset, dict[str, datasets.arrow_dataset.Dataset], NoneType] = None processing_class: typing.Union[transformers.tokenization_utils_base.PreTrainedTokenizerBase, transformers.image_processing_utils.BaseImageProcessor, transformers.feature_extraction_utils.FeatureExtractionMixin, transformers.processing_utils.ProcessorMixin, NoneType] = None model_init: typing.Optional[typing.Callable[[], transformers.modeling_utils.PreTrainedModel]] = None callbacks: typing.Optional[list[transformers.trainer_callback.TrainerCallback]] = None optimizers: tuple = (None, None) preprocess_logits_for_metrics: typing.Optional[typing.Callable[[torch.Tensor, torch.Tensor], torch.Tensor]] = None peft_config: typing.Optional[dict] = None compute_metrics: typing.Optional[typing.Callable[[transformers.trainer_utils.EvalLoopOutput], dict]] = None )

引數

  • model (transformers.PreTrainedModel) — 用於訓練的模型,最好是 AutoModelForSequenceClassification
  • args (ORPOConfig) — 用於訓練的 ORPO 配置引數。
  • data_collator (transformers.DataCollator) — 用於訓練的資料整理器。如果未指定,將使用預設的資料整理器 (DPODataCollatorWithPadding),它會將批次中的序列填充到該批次序列的最大長度,適用於成對序列的資料集。
  • train_dataset (datasets.Dataset) — 用於訓練的資料集。
  • eval_dataset (datasets.Dataset) — 用於評估的資料集。
  • processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixinProcessorMixin, 可選, 預設為 None) — 用於處理資料的處理類。如果提供,將用於自動處理模型的輸入,並與模型一同儲存,以便於重新執行中斷的訓練或重用微調後的模型。
  • model_init (Callable[[], transformers.PreTrainedModel]) — 用於訓練的模型初始化器。如果未指定,將使用預設的模型初始化器。
  • callbacks (list[transformers.TrainerCallback]) — 用於訓練的回撥函式。
  • optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — 用於訓練的最佳化器和學習率排程器。
  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — 用於在計算指標前預處理 logits 的函式。
  • peft_config (dict, 預設為 None) — 用於訓練的 PEFT 配置。如果傳遞 PEFT 配置,模型將被包裝成 PEFT 模型。
  • compute_metrics (Callable[[EvalPrediction], dict], 可選) — 用於計算指標的函式。必須接受一個 EvalPrediction 物件並返回一個字串到指標值的字典。

初始化 ORPOTrainer。

train

< >

( resume_from_checkpoint: typing.Union[str, bool, NoneType] = None trial: typing.Union[ForwardRef('optuna.Trial'), dict[str, typing.Any], NoneType] = None ignore_keys_for_eval: typing.Optional[list[str]] = None **kwargs )

引數

  • resume_from_checkpoint (strbool, 可選) — 如果是 str,則為前一個 Trainer 例項儲存的檢查點的本地路徑。如果是 bool 且等於 True,則載入前一個 Trainer 例項儲存在 args.output_dir 中的最後一個檢查點。如果存在,訓練將從此處載入的模型/最佳化器/排程器狀態恢復。
  • trial (optuna.Trialdict[str, Any], 可選) — 用於超引數搜尋的試驗執行或超引數字典。
  • ignore_keys_for_eval (list[str], 可選) — 在訓練期間收集評估預測時,應忽略的模型輸出(如果為字典)中的鍵列表。
  • kwargs (dict[str, Any], 可選) — 用於隱藏已棄用引數的附加關鍵字引數。

主訓練入口點。

save_model

< >

( output_dir: typing.Optional[str] = None _internal_call: bool = False )

將儲存模型,以便您可以使用 `from_pretrained()` 重新載入它。

僅從主程序儲存。

push_to_hub

< >

( commit_message: typing.Optional[str] = 'End of training' blocking: bool = True token: typing.Optional[str] = None revision: typing.Optional[str] = None **kwargs )

引數

  • commit_message (str, 可選, 預設為 "End of training") — 推送時提交的訊息。
  • blocking (bool, 可選, 預設為 True) — 函式是否應在 git push 完成後才返回。
  • token (str, 可選, 預設為 None) — 具有寫入許可權的令牌,用於覆蓋 Trainer 的原始引數。
  • revision (str, 可選) — 要提交的 git 修訂版本。預設為“main”分支的頭部。
  • kwargs (dict[str, Any], 可選) — 傳遞給 ~Trainer.create_model_card 的附加關鍵字引數。

將 `self.model` 和 `self.processing_class` 上傳到 🤗 模型中心的 `self.args.hub_model_id` 儲存庫。

ORPOConfig

class trl.ORPOConfig

< >

( output_dir: typing.Optional[str] = None overwrite_output_dir: bool = False do_train: bool = False do_eval: bool = False do_predict: bool = False eval_strategy: typing.Union[transformers.trainer_utils.IntervalStrategy, str] = 'no' prediction_loss_only: bool = False per_device_train_batch_size: int = 8 per_device_eval_batch_size: int = 8 per_gpu_train_batch_size: typing.Optional[int] = None per_gpu_eval_batch_size: typing.Optional[int] = None gradient_accumulation_steps: int = 1 eval_accumulation_steps: typing.Optional[int] = None eval_delay: typing.Optional[float] = 0 torch_empty_cache_steps: typing.Optional[int] = None learning_rate: float = 1e-06 weight_decay: float = 0.0 adam_beta1: float = 0.9 adam_beta2: float = 0.999 adam_epsilon: float = 1e-08 max_grad_norm: float = 1.0 num_train_epochs: float = 3.0 max_steps: int = -1 lr_scheduler_type: typing.Union[transformers.trainer_utils.SchedulerType, str] = 'linear' lr_scheduler_kwargs: typing.Union[dict[str, typing.Any], str, NoneType] = <factory> warmup_ratio: float = 0.0 warmup_steps: int = 0 log_level: str = 'passive' log_level_replica: str = 'warning' log_on_each_node: bool = True logging_dir: typing.Optional[str] = None logging_strategy: typing.Union[transformers.trainer_utils.IntervalStrategy, str] = 'steps' logging_first_step: bool = False logging_steps: float = 10 logging_nan_inf_filter: bool = True save_strategy: typing.Union[transformers.trainer_utils.SaveStrategy, str] = 'steps' save_steps: float = 500 save_total_limit: typing.Optional[int] = None save_safetensors: typing.Optional[bool] = True save_on_each_node: bool = False save_only_model: bool = False restore_callback_states_from_checkpoint: bool = False no_cuda: bool = False use_cpu: bool = False use_mps_device: bool = False seed: int = 42 data_seed: typing.Optional[int] = None jit_mode_eval: bool = False use_ipex: bool = False bf16: typing.Optional[bool] = None fp16: bool = False fp16_opt_level: str = 'O1' half_precision_backend: str = 'auto' bf16_full_eval: bool = False fp16_full_eval: bool = False tf32: typing.Optional[bool] = None local_rank: int = -1 ddp_backend: typing.Optional[str] = None tpu_num_cores: typing.Optional[int] = None tpu_metrics_debug: bool = False debug: typing.Union[str, list[transformers.debug_utils.DebugOption]] = '' dataloader_drop_last: bool = False eval_steps: typing.Optional[float] = None dataloader_num_workers: int = 0 dataloader_prefetch_factor: typing.Optional[int] = None past_index: int = -1 run_name: typing.Optional[str] = None disable_tqdm: typing.Optional[bool] = None remove_unused_columns: typing.Optional[bool] = True label_names: typing.Optional[list[str]] = None load_best_model_at_end: typing.Optional[bool] = False metric_for_best_model: typing.Optional[str] = None greater_is_better: typing.Optional[bool] = None ignore_data_skip: bool = False fsdp: typing.Union[list[transformers.trainer_utils.FSDPOption], str, NoneType] = '' fsdp_min_num_params: int = 0 fsdp_config: typing.Union[dict[str, typing.Any], str, NoneType] = None fsdp_transformer_layer_cls_to_wrap: typing.Optional[str] = None accelerator_config: typing.Union[dict, str, NoneType] = None deepspeed: typing.Union[dict, str, NoneType] = None label_smoothing_factor: float = 0.0 optim: typing.Union[transformers.training_args.OptimizerNames, str] = 'adamw_torch' optim_args: typing.Optional[str] = None adafactor: bool = False group_by_length: bool = False length_column_name: typing.Optional[str] = 'length' report_to: typing.Union[NoneType, str, list[str]] = None ddp_find_unused_parameters: typing.Optional[bool] = None ddp_bucket_cap_mb: typing.Optional[int] = None ddp_broadcast_buffers: typing.Optional[bool] = None dataloader_pin_memory: bool = True dataloader_persistent_workers: bool = False skip_memory_metrics: bool = True use_legacy_prediction_loop: bool = False push_to_hub: bool = False resume_from_checkpoint: typing.Optional[str] = None hub_model_id: typing.Optional[str] = None hub_strategy: typing.Union[transformers.trainer_utils.HubStrategy, str] = 'every_save' hub_token: typing.Optional[str] = None hub_private_repo: typing.Optional[bool] = None hub_always_push: bool = False hub_revision: typing.Optional[str] = None gradient_checkpointing: bool = False gradient_checkpointing_kwargs: typing.Union[dict[str, typing.Any], str, NoneType] = None include_inputs_for_metrics: bool = False include_for_metrics: list = <factory> eval_do_concat_batches: bool = True fp16_backend: str = 'auto' push_to_hub_model_id: typing.Optional[str] = None push_to_hub_organization: typing.Optional[str] = None push_to_hub_token: typing.Optional[str] = None mp_parameters: str = '' auto_find_batch_size: bool = False full_determinism: bool = False torchdynamo: typing.Optional[str] = None ray_scope: typing.Optional[str] = 'last' ddp_timeout: int = 1800 torch_compile: bool = False torch_compile_backend: typing.Optional[str] = None torch_compile_mode: typing.Optional[str] = None include_tokens_per_second: typing.Optional[bool] = False include_num_input_tokens_seen: typing.Optional[bool] = False neftune_noise_alpha: typing.Optional[float] = None optim_target_modules: typing.Union[NoneType, str, list[str]] = None batch_eval_metrics: bool = False eval_on_start: bool = False use_liger_kernel: typing.Optional[bool] = False liger_kernel_config: typing.Optional[dict[str, bool]] = None eval_use_gather_object: typing.Optional[bool] = False average_tokens_across_devices: typing.Optional[bool] = True max_length: typing.Optional[int] = 1024 max_prompt_length: typing.Optional[int] = 512 max_completion_length: typing.Optional[int] = None beta: float = 0.1 disable_dropout: bool = True label_pad_token_id: int = -100 padding_value: typing.Optional[int] = None truncation_mode: str = 'keep_end' generate_during_eval: bool = False is_encoder_decoder: typing.Optional[bool] = None model_init_kwargs: typing.Optional[dict[str, typing.Any]] = None dataset_num_proc: typing.Optional[int] = None )

引數

  • max_length (intNone可選,預設為 1024) — 批次中序列(提示 + 補全)的最大長度。如果要使用預設的資料整理器,則此引數是必需的。
  • max_prompt_length (intNone可選,預設為 512) — 提示的最大長度。如果要使用預設的資料整理器,則此引數是必需的。
  • max_completion_length (intNone可選,預設為 None) — 補全的最大長度。如果要使用預設的資料整理器且模型是編碼器-解碼器模型,則此引數是必需的。
  • beta (float可選,預設為 0.1) — 在ORPO損失中控制相對比率損失權重的引數。在論文中,它表示為 λ。在程式碼中,它表示為 alpha
  • disable_dropout (bool可選,預設為 True) — 是否在模型中停用 dropout。
  • label_pad_token_id (int可選,預設為 -100) — 標籤填充標記的ID。如果要使用預設的資料整理器,則此引數是必需的。
  • padding_value (intNone可選,預設為 None) — 要使用的填充值。如果為 None,則使用分詞器的填充值。
  • truncation_mode (str可選,預設為 "keep_end") — 當提示過長時使用的截斷模式。可能的值為 "keep_end""keep_start"。如果要使用預設的資料整理器,則此引數是必需的。
  • generate_during_eval (bool可選,預設為 False) — 如果為 True,則在評估期間生成模型的補全並記錄到 W&B 或 Comet。
  • is_encoder_decoder (boolNone可選,預設為 None) — 當使用 model_init 引數(可呼叫函式)例項化模型而不是 model 引數時,您需要指定可呼叫函式返回的模型是否為編碼器-解碼器模型。
  • model_init_kwargs (dict[str, Any]None可選,預設為 None) — 當從字串例項化模型時,傳遞給 AutoModelForCausalLM.from_pretrained 的關鍵字引數。
  • dataset_num_proc (intNone可選,預設為 None) — 用於處理資料集的程序數。

ORPOTrainer 的配置類。

該類僅包含 ORPO 訓練特有的引數。有關訓練引數的完整列表,請參閱 TrainingArguments 文件。請注意,該類中的預設值可能與 TrainingArguments 中的預設值不同。

使用 HfArgumentParser,我們可以將此類別轉換為可在命令列上指定的 argparse 引數。

< > 在 GitHub 上更新

© . This site is unofficial and not affiliated with Hugging Face, Inc.