TRL 文件
ORPO 訓練器
並獲得增強的文件體驗
開始使用
ORPO 訓練器
概述
優勢比偏好最佳化(Odds Ratio Preference Optimization, ORPO)由 Jiwoo Hong、Noah Lee 和 James Thorne 在論文 《ORPO:無需參考模型的單階段偏好最佳化》 中提出。
論文摘要如下:
雖然近期針對語言模型的偏好對齊演算法取得了喜人的成果,但監督式微調(SFT)對於實現成功收斂仍然至關重要。在本文中,我們研究了 SFT 在偏好對齊背景下的關鍵作用,強調對不受歡迎的生成風格施加微小懲罰就足以實現偏好對齊的 SFT。基於此,我們提出了一種簡單創新的、無需參考模型的單階段優勢比偏好最佳化演算法——ORPO,從而省去了額外的偏好對齊階段。我們在經驗和理論上證明,在 125M 到 7B 的各種模型規模上,優勢比是 SFT 過程中對比受歡迎和不受歡迎風格的明智選擇。具體而言,僅在 UltraFeedback 資料集上使用 ORPO 微調 Phi-2 (2.7B)、Llama-2 (7B) 和 Mistral (7B) 的效能,就超過了引數量超過 7B 和 13B 的最先進語言模型:在 AlpacaEval_{2.0} 上最高提升 12.20%(圖 1),在 IFEval 上達到 66.19%(指令級寬鬆,表 6),在 MT-Bench 上達到 7.32 分(圖 12)。我們釋出了 Mistral-ORPO-alpha (7B) 和 Mistral-ORPO-beta (7B) 的程式碼和模型檢查點。
它研究了 SFT 在偏好對齊背景下的關鍵作用。該方法使用偏好資料,並提出:對不偏好的生成施加輕微懲罰,同時透過一個簡單的、附加到負對數似然(NLL)損失的對數優勢比項,為所選響應提供強烈的適應訊號,這對於偏好對齊的 SFT 來說已經足夠。
因此,ORPO 是一種無需參考模型的偏好最佳化演算法,它省去了額外的偏好對齊階段,從而節省了計算資源和記憶體。
官方程式碼可在 xfactlab/orpo 找到。
該後訓練方法由 Kashif Rasul、Lewis Tunstall 和 Alvaro Bartolome 貢獻。
快速入門
本示例演示瞭如何使用 ORPO 方法訓練模型。我們使用 Qwen 0.5B 模型 作為基礎模型。我們使用來自 UltraFeedback 資料集 的偏好資料。你可以在資料集中檢視資料。
以下是訓練模型的指令碼
# train_orpo.py
from datasets import load_dataset
from trl import ORPOConfig, ORPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
training_args = ORPOConfig(output_dir="Qwen2-0.5B-ORPO")
trainer = ORPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()
使用以下命令執行指令碼
accelerate launch train_orpo.py
在 8 個 GPU 上進行分散式訓練,大約需要 30 分鐘。您可以透過檢視獎勵圖來驗證訓練進度。獎勵邊際的增長趨勢表明模型正在改進並隨時間生成更好的響應。
要檢視訓練後模型的表現,您可以使用 Transformers Chat CLI。
$ transformers chat trl-lib/Qwen2-0.5B-ORPO
<quentin_gallouedec>:
What is the best programming language?
<trl-lib/Qwen2-0.5B-ORPO>:
It's challenging to determine the best programming language as no one language is perfect, as the complexity of a task and the type of project are significant factors. Some popular languages include Java, Python, JavaScript, and
C++. If you have specific needs or requirements for a specific project, it's important to choose the language that best suits those needs.
Here are some other factors to consider when choosing a programming language for a project:
• Language proficiency: A good programming language is more likely to be easy to understand and use, and will allow developers to collaborate on projects more efficiently.
• Ease of use: There are tools and libraries available to make programming more accessible, so developers should choose a language that can help them get started easier.
• Code readability: A clear and concise codebase should be easy to read and understand, especially when working with large projects.
• Tool and framework support: There are numerous libraries available for Python, Java, and JavaScript, along with tools like IDEs and static code analysis tools.
• Accessibility: Some languages and tools have features that make them more accessible to developers with disabilities, such as support for screen readers.
• Version control: As your projects grow and complexity increases, version control tools can be beneficial for tracking changes.
預期的資料集型別
ORPO 需要一個偏好資料集。 ORPOTrainer 同時支援對話式和標準資料集格式。當提供對話式資料集時,訓練器會自動將聊天模板應用於資料集。
儘管 ORPOTrainer 支援顯式和隱式提示,但我們建議使用顯式提示。如果提供隱式提示資料集,訓練器將自動從 "chosen"
和 "rejected"
列中提取提示。更多資訊,請參閱偏好風格部分。
示例指令碼
我們提供一個示例指令碼來使用 ORPO 方法訓練模型。該指令碼位於 examples/scripts/orpo.py
要使用 Qwen2 0.5B 模型 在 UltraFeedback 資料集 上測試 ORPO 指令碼,請執行以下命令:
accelerate launch examples/scripts/orpo.py \ --model_name_or_path Qwen/Qwen2-0.5B-Instruct \ --dataset_name trl-lib/ultrafeedback_binarized \ --num_train_epochs 1 \ --output_dir Qwen2-0.5B-ORPO
使用技巧
對於混合專家模型:啟用輔助損失
如果負載在專家之間大致均勻分佈,MOE(專家混合模型)效率最高。
為了確保在偏好調整期間類似地訓練 MOE,將負載均衡器的輔助損失新增到最終損失中是有益的。
透過在模型配置(例如 MixtralConfig
)中設定 output_router_logits=True
來啟用此選項。
要調整輔助損失對總損失的貢獻程度,請在模型配置中使用超引數 router_aux_loss_coef=...
(預設值:0.001
)。
記錄的指標
在訓練和評估期間,我們記錄以下獎勵指標
rewards/chosen
:策略模型對所選響應的平均對數機率,按 beta 縮放rewards/rejected
:策略模型對拒絕響應的平均對數機率,按 beta 縮放rewards/accuracies
:所選獎勵大於相應被拒獎勵的頻率的平均值rewards/margins
:選中獎勵和相應拒絕獎勵之間的平均差異log_odds_chosen
:所選響應相對於拒絕響應的平均對數優勢比log_odds_ratio
:`log(sigmoid(log_odds_chosen))` 的平均值nll_loss
:來自損失的 SFT 部分的、關於所選響應的平均負對數似然損失
ORPOTrainer
class trl.ORPOTrainer
< 來源 >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.modules.module.Module, str, NoneType] = None args: typing.Optional[trl.trainer.orpo_config.ORPOConfig] = None data_collator: typing.Optional[transformers.data.data_collator.DataCollator] = None train_dataset: typing.Optional[datasets.arrow_dataset.Dataset] = None eval_dataset: typing.Union[datasets.arrow_dataset.Dataset, dict[str, datasets.arrow_dataset.Dataset], NoneType] = None processing_class: typing.Union[transformers.tokenization_utils_base.PreTrainedTokenizerBase, transformers.image_processing_utils.BaseImageProcessor, transformers.feature_extraction_utils.FeatureExtractionMixin, transformers.processing_utils.ProcessorMixin, NoneType] = None model_init: typing.Optional[typing.Callable[[], transformers.modeling_utils.PreTrainedModel]] = None callbacks: typing.Optional[list[transformers.trainer_callback.TrainerCallback]] = None optimizers: tuple = (None, None) preprocess_logits_for_metrics: typing.Optional[typing.Callable[[torch.Tensor, torch.Tensor], torch.Tensor]] = None peft_config: typing.Optional[dict] = None compute_metrics: typing.Optional[typing.Callable[[transformers.trainer_utils.EvalLoopOutput], dict]] = None )
引數
- model (
transformers.PreTrainedModel
) — 用於訓練的模型,最好是AutoModelForSequenceClassification
。 - args (
ORPOConfig
) — 用於訓練的 ORPO 配置引數。 - data_collator (
transformers.DataCollator
) — 用於訓練的資料整理器。如果未指定,將使用預設的資料整理器 (DPODataCollatorWithPadding
),它會將批次中的序列填充到該批次序列的最大長度,適用於成對序列的資料集。 - train_dataset (
datasets.Dataset
) — 用於訓練的資料集。 - eval_dataset (
datasets.Dataset
) — 用於評估的資料集。 - processing_class (
PreTrainedTokenizerBase
,BaseImageProcessor
,FeatureExtractionMixin
或ProcessorMixin
, 可選, 預設為None
) — 用於處理資料的處理類。如果提供,將用於自動處理模型的輸入,並與模型一同儲存,以便於重新執行中斷的訓練或重用微調後的模型。 - model_init (
Callable[[], transformers.PreTrainedModel]
) — 用於訓練的模型初始化器。如果未指定,將使用預設的模型初始化器。 - callbacks (
list[transformers.TrainerCallback]
) — 用於訓練的回撥函式。 - optimizers (
tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]
) — 用於訓練的最佳化器和學習率排程器。 - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor]
) — 用於在計算指標前預處理 logits 的函式。 - peft_config (
dict
, 預設為None
) — 用於訓練的 PEFT 配置。如果傳遞 PEFT 配置,模型將被包裝成 PEFT 模型。 - compute_metrics (
Callable[[EvalPrediction], dict]
, 可選) — 用於計算指標的函式。必須接受一個EvalPrediction
物件並返回一個字串到指標值的字典。
初始化 ORPOTrainer。
train
< 來源 >( resume_from_checkpoint: typing.Union[str, bool, NoneType] = None trial: typing.Union[ForwardRef('optuna.Trial'), dict[str, typing.Any], NoneType] = None ignore_keys_for_eval: typing.Optional[list[str]] = None **kwargs )
引數
- resume_from_checkpoint (
str
或bool
, 可選) — 如果是str
,則為前一個Trainer
例項儲存的檢查點的本地路徑。如果是bool
且等於True
,則載入前一個Trainer
例項儲存在 args.output_dir 中的最後一個檢查點。如果存在,訓練將從此處載入的模型/最佳化器/排程器狀態恢復。 - trial (
optuna.Trial
或dict[str, Any]
, 可選) — 用於超引數搜尋的試驗執行或超引數字典。 - ignore_keys_for_eval (
list[str]
, 可選) — 在訓練期間收集評估預測時,應忽略的模型輸出(如果為字典)中的鍵列表。 - kwargs (
dict[str, Any]
, 可選) — 用於隱藏已棄用引數的附加關鍵字引數。
主訓練入口點。
將儲存模型,以便您可以使用 `from_pretrained()` 重新載入它。
僅從主程序儲存。
push_to_hub
< 來源 >( commit_message: typing.Optional[str] = 'End of training' blocking: bool = True token: typing.Optional[str] = None revision: typing.Optional[str] = None **kwargs )
將 `self.model` 和 `self.processing_class` 上傳到 🤗 模型中心的 `self.args.hub_model_id` 儲存庫。
ORPOConfig
class trl.ORPOConfig
< 來源 >( output_dir: typing.Optional[str] = None overwrite_output_dir: bool = False do_train: bool = False do_eval: bool = False do_predict: bool = False eval_strategy: typing.Union[transformers.trainer_utils.IntervalStrategy, str] = 'no' prediction_loss_only: bool = False per_device_train_batch_size: int = 8 per_device_eval_batch_size: int = 8 per_gpu_train_batch_size: typing.Optional[int] = None per_gpu_eval_batch_size: typing.Optional[int] = None gradient_accumulation_steps: int = 1 eval_accumulation_steps: typing.Optional[int] = None eval_delay: typing.Optional[float] = 0 torch_empty_cache_steps: typing.Optional[int] = None learning_rate: float = 1e-06 weight_decay: float = 0.0 adam_beta1: float = 0.9 adam_beta2: float = 0.999 adam_epsilon: float = 1e-08 max_grad_norm: float = 1.0 num_train_epochs: float = 3.0 max_steps: int = -1 lr_scheduler_type: typing.Union[transformers.trainer_utils.SchedulerType, str] = 'linear' lr_scheduler_kwargs: typing.Union[dict[str, typing.Any], str, NoneType] = <factory> warmup_ratio: float = 0.0 warmup_steps: int = 0 log_level: str = 'passive' log_level_replica: str = 'warning' log_on_each_node: bool = True logging_dir: typing.Optional[str] = None logging_strategy: typing.Union[transformers.trainer_utils.IntervalStrategy, str] = 'steps' logging_first_step: bool = False logging_steps: float = 10 logging_nan_inf_filter: bool = True save_strategy: typing.Union[transformers.trainer_utils.SaveStrategy, str] = 'steps' save_steps: float = 500 save_total_limit: typing.Optional[int] = None save_safetensors: typing.Optional[bool] = True save_on_each_node: bool = False save_only_model: bool = False restore_callback_states_from_checkpoint: bool = False no_cuda: bool = False use_cpu: bool = False use_mps_device: bool = False seed: int = 42 data_seed: typing.Optional[int] = None jit_mode_eval: bool = False use_ipex: bool = False bf16: typing.Optional[bool] = None fp16: bool = False fp16_opt_level: str = 'O1' half_precision_backend: str = 'auto' bf16_full_eval: bool = False fp16_full_eval: bool = False tf32: typing.Optional[bool] = None local_rank: int = -1 ddp_backend: typing.Optional[str] = None tpu_num_cores: typing.Optional[int] = None tpu_metrics_debug: bool = False debug: typing.Union[str, list[transformers.debug_utils.DebugOption]] = '' dataloader_drop_last: bool = False eval_steps: typing.Optional[float] = None dataloader_num_workers: int = 0 dataloader_prefetch_factor: typing.Optional[int] = None past_index: int = -1 run_name: typing.Optional[str] = None disable_tqdm: typing.Optional[bool] = None remove_unused_columns: typing.Optional[bool] = True label_names: typing.Optional[list[str]] = None load_best_model_at_end: typing.Optional[bool] = False metric_for_best_model: typing.Optional[str] = None greater_is_better: typing.Optional[bool] = None ignore_data_skip: bool = False fsdp: typing.Union[list[transformers.trainer_utils.FSDPOption], str, NoneType] = '' fsdp_min_num_params: int = 0 fsdp_config: typing.Union[dict[str, typing.Any], str, NoneType] = None fsdp_transformer_layer_cls_to_wrap: typing.Optional[str] = None accelerator_config: typing.Union[dict, str, NoneType] = None deepspeed: typing.Union[dict, str, NoneType] = None label_smoothing_factor: float = 0.0 optim: typing.Union[transformers.training_args.OptimizerNames, str] = 'adamw_torch' optim_args: typing.Optional[str] = None adafactor: bool = False group_by_length: bool = False length_column_name: typing.Optional[str] = 'length' report_to: typing.Union[NoneType, str, list[str]] = None ddp_find_unused_parameters: typing.Optional[bool] = None ddp_bucket_cap_mb: typing.Optional[int] = None ddp_broadcast_buffers: typing.Optional[bool] = None dataloader_pin_memory: bool = True dataloader_persistent_workers: bool = False skip_memory_metrics: bool = True use_legacy_prediction_loop: bool = False push_to_hub: bool = False resume_from_checkpoint: typing.Optional[str] = None hub_model_id: typing.Optional[str] = None hub_strategy: typing.Union[transformers.trainer_utils.HubStrategy, str] = 'every_save' hub_token: typing.Optional[str] = None hub_private_repo: typing.Optional[bool] = None hub_always_push: bool = False hub_revision: typing.Optional[str] = None gradient_checkpointing: bool = False gradient_checkpointing_kwargs: typing.Union[dict[str, typing.Any], str, NoneType] = None include_inputs_for_metrics: bool = False include_for_metrics: list = <factory> eval_do_concat_batches: bool = True fp16_backend: str = 'auto' push_to_hub_model_id: typing.Optional[str] = None push_to_hub_organization: typing.Optional[str] = None push_to_hub_token: typing.Optional[str] = None mp_parameters: str = '' auto_find_batch_size: bool = False full_determinism: bool = False torchdynamo: typing.Optional[str] = None ray_scope: typing.Optional[str] = 'last' ddp_timeout: int = 1800 torch_compile: bool = False torch_compile_backend: typing.Optional[str] = None torch_compile_mode: typing.Optional[str] = None include_tokens_per_second: typing.Optional[bool] = False include_num_input_tokens_seen: typing.Optional[bool] = False neftune_noise_alpha: typing.Optional[float] = None optim_target_modules: typing.Union[NoneType, str, list[str]] = None batch_eval_metrics: bool = False eval_on_start: bool = False use_liger_kernel: typing.Optional[bool] = False liger_kernel_config: typing.Optional[dict[str, bool]] = None eval_use_gather_object: typing.Optional[bool] = False average_tokens_across_devices: typing.Optional[bool] = True max_length: typing.Optional[int] = 1024 max_prompt_length: typing.Optional[int] = 512 max_completion_length: typing.Optional[int] = None beta: float = 0.1 disable_dropout: bool = True label_pad_token_id: int = -100 padding_value: typing.Optional[int] = None truncation_mode: str = 'keep_end' generate_during_eval: bool = False is_encoder_decoder: typing.Optional[bool] = None model_init_kwargs: typing.Optional[dict[str, typing.Any]] = None dataset_num_proc: typing.Optional[int] = None )
引數
- max_length (
int
或None
,可選,預設為1024
) — 批次中序列(提示 + 補全)的最大長度。如果要使用預設的資料整理器,則此引數是必需的。 - max_prompt_length (
int
或None
,可選,預設為512
) — 提示的最大長度。如果要使用預設的資料整理器,則此引數是必需的。 - max_completion_length (
int
或None
,可選,預設為None
) — 補全的最大長度。如果要使用預設的資料整理器且模型是編碼器-解碼器模型,則此引數是必需的。 - beta (
float
,可選,預設為0.1
) — 在ORPO損失中控制相對比率損失權重的引數。在論文中,它表示為 λ。在程式碼中,它表示為alpha
。 - disable_dropout (
bool
,可選,預設為True
) — 是否在模型中停用 dropout。 - label_pad_token_id (
int
,可選,預設為-100
) — 標籤填充標記的ID。如果要使用預設的資料整理器,則此引數是必需的。 - padding_value (
int
或None
,可選,預設為None
) — 要使用的填充值。如果為None
,則使用分詞器的填充值。 - truncation_mode (
str
,可選,預設為"keep_end"
) — 當提示過長時使用的截斷模式。可能的值為"keep_end"
或"keep_start"
。如果要使用預設的資料整理器,則此引數是必需的。 - generate_during_eval (
bool
,可選,預設為False
) — 如果為True
,則在評估期間生成模型的補全並記錄到 W&B 或 Comet。 - is_encoder_decoder (
bool
或None
,可選,預設為None
) — 當使用model_init
引數(可呼叫函式)例項化模型而不是model
引數時,您需要指定可呼叫函式返回的模型是否為編碼器-解碼器模型。 - model_init_kwargs (
dict[str, Any]
或None
,可選,預設為None
) — 當從字串例項化模型時,傳遞給AutoModelForCausalLM.from_pretrained
的關鍵字引數。 - dataset_num_proc (
int
或None
,可選,預設為None
) — 用於處理資料集的程序數。
ORPOTrainer 的配置類。
該類僅包含 ORPO 訓練特有的引數。有關訓練引數的完整列表,請參閱 TrainingArguments
文件。請注意,該類中的預設值可能與 TrainingArguments
中的預設值不同。
使用 HfArgumentParser
,我們可以將此類別轉換為可在命令列上指定的 argparse 引數。