开始使用免费开始使用

为分布式训练准备模型

您决定使用 Hugging Face 的 Accelerator 库来训练机器翻译模型。现在需要为分布式训练做好模型准备!

部分数据已预加载:

  • acceleratorAccelerator 的一个实例
  • 已定义 modeloptimizertrain_dataloaderlr_scheduler

本练习是课程的一部分

使用 PyTorch 高效训练 AI 模型

查看课程

练习说明

  • 调用相应方法,为对象做好分布式训练的准备。
  • 将训练对象按位置参数传入 accelerator.prepare(),并与输出顺序保持一致。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)
编辑并运行代码