為分散式訓練準備模型
你決定使用 Hugging Face 的 Accelerator 函式庫來訓練你的語言翻譯模型。現在該把模型準備好進行分散式訓練了!
已預先載入以下資料:
accelerator是Accelerator的實例- 已定義
model、optimizer、train_dataloader與lr_scheduler
本練習屬於課程
使用 PyTorch 高效訓練 AI 模型
練習說明
- 呼叫適當的方法,將物件準備好用於分散式訓練。
- 依照輸出順序,將訓練相關物件以位置引數傳入
accelerator.prepare()。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)