AdamW avec Trainer

Vous commencez à entraîner un modèle Transformer pour simplifier des traductions. En première étape, vous choisissez l’optimiseur AdamW comme référence et l’interface Trainer pour une configuration rapide. Configurez Trainer pour utiliser l’optimizer AdamW.

AdamW a déjà été importé depuis torch.optim. Certains objets d’entraînement ont été préchargés : model, training_args, train_dataset, validation_dataset, compute_metrics.

Cet exercice fait partie du cours

<cours>Entraîner efficacement des modèles d’IA avec PyTorch</cours>

Voir le cours

Instructions de l’exercice

Transmettez les paramètres de model à l’optimizer AdamW.
Passez l’optimizer à Trainer.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Modifier et exécuter le code