设置 Llama 的训练参数
您需要对用于客服聊天机器人的 Llama 模型进行微调，使用专为问答构建的客服数据进行训练。为获得更好的效果，您的团队将使用 bitext 数据集对该任务的 Llama 模型进行微调。
您想先对训练循环做一次试运行，以检查训练脚本是否正常。因此，请从较小的学习率开始，并在训练参数中将训练限制为少量步骤。
本练习是课程的一部分
使用 Llama 3 进行微调
练习说明
- 导入并实例化用于存储训练参数的辅助类。
- 将学习率的训练参数设置为
2e-3。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)