Accelerate

Accelerate 是一個庫，只需新增四行程式碼，即可在任何分散式配置上執行相同的 PyTorch 程式碼！簡而言之，它使大規模訓練和推理變得簡單、高效且適應性強。

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
      inputs = inputs.to(device)
      targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()

Accelerate 基於 `torch_xla` 和 `torch.distributed` 構建，負責繁重的工作，因此您無需編寫任何自定義程式碼來適應這些平臺。將現有程式碼庫轉換為使用 DeepSpeed，執行完全分片資料並行，並自動支援混合精度訓練！

要更好地瞭解此過程，請務必檢視教程！

然後可以透過 Accelerate 的 CLI 介面在任何系統上啟動此程式碼

accelerate launch {my_script.py}

教程

學習基礎知識並熟悉如何使用 Accelerate。如果您是首次使用 Accelerate，請從這裡開始！

操作指南

實用指南，幫助您實現特定目標。檢視這些指南，瞭解如何使用 Accelerate 解決實際問題。

概念指南

高階解釋，幫助您更好地理解重要主題，例如避免分散式訓練和 DeepSpeed 中的細微差別和陷阱。

參考

Accelerate 類和方法工作原理的技術說明。

< > 在 GitHub 上更新