開始使用免費開始

為分散式訓練準備模型

你決定使用 Hugging Face 的 Accelerator 函式庫來訓練你的語言翻譯模型。現在該把模型準備好進行分散式訓練了!

已預先載入以下資料:

  • acceleratorAccelerator 的實例
  • 已定義 modeloptimizertrain_dataloaderlr_scheduler

本練習屬於課程

使用 PyTorch 高效訓練 AI 模型

檢視課程

練習說明

  • 呼叫適當的方法,將物件準備好用於分散式訓練。
  • 依照輸出順序,將訓練相關物件以位置引數傳入 accelerator.prepare()

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)
編輯並執行程式碼