AdamW avec Trainer

Vous commencez à entraîner un modèle Transformer pour simplifier des traductions. Comme première étape, vous décidez d’utiliser l’optimiseur AdamW comme référence et l’interface Trainer pour une configuration rapide. Configurez Trainer afin d’utiliser l’optimizer AdamW.

AdamW a déjà été importé depuis torch.optim. Certains objets d’entraînement ont été préchargés : model, training_args, train_dataset, validation_dataset, compute_metrics.

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Passez les paramètres du model à l’optimizer AdamW.
Passez l’optimizer à Trainer.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Modifier et exécuter le code