Накопление градиентов с помощью Trainer
Вы настраиваете Trainer для модели машинного перевода с использованием накопления градиентов, чтобы эффективно обучаться на больших батчах. Модель будет обучаться на перефразированных примерах из набора данных MRPC. Настройте аргументы обучения для накопления градиентов! Обратите внимание: вызов trainer.train() может занять некоторое время.
model, dataset и функция compute_metrics() уже определены заранее.
Это упражнение является частью курса
Эффективное обучение моделей ИИ с PyTorch
Инструкции к упражнению
- Задайте количество шагов накопления градиентов равным двум.
- Передайте аргументы обучения в
Trainer.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()