AdamW avec Trainer

Vous commencez à former un modèle Transformer pour simplifier les traductions linguistiques. Dans un premier temps, vous décidez d'utiliser l'optimiseur AdamW comme référence et l'interface Trainer pour une configuration rapide. Configurez Trainer pour utiliser l'AdamW optimizer.

AdamW a été préimporté à partir de torch.optim. Certains objets de formation ont été préchargés : model, training_args, train_dataset, validation_dataset, compute_metrics.

Cet exercice fait partie du cours

Entraînement efficace de modèles d'IA avec PyTorch

Afficher le cours

Instructions

Transmettez les paramètres de model à AdamW optimizer.
Passez le optimizer à Trainer.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  ____=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Modifier et exécuter le code