结合 Trainer 的梯度累积

您正在为语言翻译模型配置 Trainer 以使用梯度累积，从而能够等效地在更大的批次上训练。您的模型将通过在 MRPC 数据集的同义改写上训练来简化翻译。请配置训练参数以累积梯度！由于调用 trainer.train()，本练习运行需要一些时间。

model、dataset 和 compute_metrics() 函数已预先定义。

本练习是课程的一部分

使用 PyTorch 高效训练 AI 模型

查看课程

练习说明

将梯度累积步数设置为 2。
将训练参数传递给 Trainer。

交互式实操练习

通过完成这段示例代码来试试这个练习。

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    # Set the number of gradient accumulation steps to two
    ____=____
)
trainer = Trainer(
    model=model,
    # Pass in the training arguments to Trainer
    ____=____,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    compute_metrics=compute_metrics,
)
trainer.train()

编辑并运行代码