ПочатиПочніть безкоштовно

AdamW із Trainer

Ви починаєте тренувати модель Transformer для спрощення перекладів. Як перший крок ви вирішили взяти оптимізатор AdamW як базову точку порівняння та використати інтерфейс Trainer для швидкого налаштування. Налаштуйте Trainer, щоб він використовував optimizer AdamW.

AdamW уже імпортовано з torch.optim. Деякі об’єкти для навчання вже завантажено: model, training_args, train_dataset, validation_dataset, compute_metrics.

Ця вправа є частиною курсу

Ефективне тренування моделей ШІ з PyTorch

Переглянути курс

Інструкції до вправи

  • Передайте параметри model до optimizer AdamW.
  • Передайте optimizer до Trainer.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()
Редагувати та запускати код