ПочатиПочніть безкоштовно

Накопичення градієнтів із Trainer

Ви налаштовуєте Trainer для своєї моделі перекладу мов із використанням накопичення градієнтів, щоб ефективно тренуватися на більших пакетах. Ваша модель спрощуватиме переклади, навчаючись на парафразах з набору даних MRPC. Налаштуйте параметри тренування для накопичення градієнтів! Виконання цієї вправи займе певний час через виклик trainer.train().

model, dataset і функцію compute_metrics() уже визначено.

Ця вправа є частиною курсу

Ефективне тренування моделей ШІ з PyTorch

Переглянути курс

Інструкції до вправи

  • Встановіть кількість кроків накопичення градієнтів рівною двом.
  • Передайте параметри тренування до Trainer.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    # Set the number of gradient accumulation steps to two
    ____=____
)
trainer = Trainer(
    model=model,
    # Pass in the training arguments to Trainer
    ____=____,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    compute_metrics=compute_metrics,
)
trainer.train()
Редагувати та запускати код