为分布式训练准备模型
您决定使用 Hugging Face 的 Accelerator 库来训练机器翻译模型。现在需要为分布式训练做好模型准备!
部分数据已预加载:
accelerator是Accelerator的一个实例- 已定义
model、optimizer、train_dataloader和lr_scheduler
本练习是课程的一部分
使用 PyTorch 高效训练 AI 模型
练习说明
- 调用相应方法,为对象做好分布式训练的准备。
- 将训练对象按位置参数传入
accelerator.prepare(),并与输出顺序保持一致。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)