指定 TrainingArguments

您正在为语言模型配置训练流程。TrainingArguments 用于为 Trainer 指定输入参数。本练习已提供这些参数的取值；在实际项目中，您通常需要根据模型进行调参。请准备好参数，让您的模型可以使用 Trainer！

已预加载的数据：

output_dir 是一个预定义的目录
已经导入了 TrainingArguments 类

本练习是课程的一部分

使用 PyTorch 高效训练 AI 模型

查看课程

练习说明

使用 TrainingArguments 类定义 training_args。
将 learning_rate 设为 2e-5，以微调模型的预训练权重。
将每个设备上的训练批大小设为 16。
将 evaluation_strategy 设置为在每个 epoch 结束时创建评估检查点。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

编辑并运行代码