AdamW con Trainer

Estás empezando a entrenar un modelo Transformer para simplificar traducciones de lenguaje. Como primer paso, decides usar el optimizador AdamW como referencia y la interfaz Trainer para una configuración rápida. Configura Trainer para usar el optimizer AdamW.

AdamW ya se ha importado desde torch.optim. Algunos objetos de entrenamiento ya están cargados: model, training_args, train_dataset, validation_dataset, compute_metrics.

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Pasa los parámetros de model al optimizer AdamW.
Pasa el optimizer a Trainer.

ejercicio interactivo práctico

Prueba este ejercicio completando este código de ejemplo.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Editar y ejecutar código