НачатьНачать бесплатно

AdamW с Trainer

Вы приступаете к обучению модели Transformer для упрощения перевода текстов. В качестве первого шага вы решаете использовать оптимизатор AdamW в качестве базовой точки отсчёта и интерфейс Trainer для быстрой настройки. Настройте Trainer для работы с оптимизатором optimizer на основе AdamW.

AdamW уже импортирован из torch.optim. Часть объектов для обучения предварительно загружена: model, training_args, train_dataset, validation_dataset, compute_metrics.

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

  • Передайте параметры model в оптимизатор AdamW (optimizer).
  • Передайте optimizer в Trainer.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()
Редактировать и запускать код