AdamW com o Trainer

Você está começando a treinar um modelo Transformer para simplificar as traduções de idiomas. Como primeira etapa, você decide usar o otimizador AdamW como referência e a interface Trainer para uma configuração rápida. Configure o site Trainer para usar o AdamW optimizer.

AdamW foi pré-importado de torch.optim. Alguns objetos de treinamento foram pré-carregados: model, training_args, train_dataset, validation_dataset, compute_metrics.

Este exercício faz parte do curso

Treinamento eficiente de modelos de IA com PyTorch

Ver curso

Instruções do exercício

Passe os parâmetros de model para AdamW optimizer.
Passe o endereço optimizer para Trainer.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  ____=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Editar e executar o código