AdamW avec Trainer

Vous commencez à entraîner un modèle Transformer pour simplifier des traductions. En première étape, vous choisissez l’optimiseur AdamW comme référence et l’interface Trainer pour une mise en place rapide. Configurez Trainer pour utiliser l’optimizer AdamW.

AdamW a déjà été importé depuis torch.optim. Certains objets d’entraînement ont été préchargés : model, training_args, train_dataset, validation_dataset, compute_metrics.

Cet exercice fait partie du cours

Entraîner efficacement des modèles d’IA avec PyTorch

Afficher le cours

Instructions

Passez les paramètres de model à l’optimizer AdamW.
Transmettez l’optimizer à Trainer.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  ____=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Modifier et exécuter le code