DeepSpeed 整合

TRL 支援使用 DeepSpeed 進行訓練，這是一個實現了高階訓練最佳化技術的庫。這些技術包括最佳化器狀態分割槽、解除安裝、梯度分割槽等。

DeepSpeed 集成了 零冗餘最佳化器 (ZeRO)，它允許將模型大小與裝置數量成比例擴充套件，同時保持高效率。

安裝

要在 TRL 中使用 DeepSpeed，請使用以下命令進行安裝

pip install deepspeed

使用 DeepSpeed 執行訓練指令碼

無需修改您的訓練指令碼。只需使用 DeepSpeed 配置檔案執行即可

accelerate launch --config_file <ACCELERATE_WITH_DEEPSPEED_CONFIG_FILE.yaml> train.py

我們在 examples/accelerate_configs 目錄中提供了即用型 DeepSpeed 配置檔案。例如，要使用 ZeRO Stage 2 執行訓練，請使用以下命令

accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml train.py

其他資源

有關 DeepSpeed 外掛的更多資訊，請參閱 🤗 Accelerate 文件。