Accumulation de gradients avec Trainer
Vous configurez Trainer pour votre modèle de traduction linguistique afin d'utiliser l'accumulation de gradient, de manière à pouvoir vous entraîner efficacement sur des lots plus importants. Votre modèle simplifiera les traductions en s'entraînant sur les paraphrases de l'ensemble de données MRPC. Configurez les arguments d'apprentissage pour accumuler les gradients ! L'exercice prendra un certain temps à se dérouler avec l'appel à trainer.train().
Les fonctions model, dataset, et compute_metrics() ont été prédéfinies.
Cet exercice fait partie du cours
Entraînement efficace de modèles d'IA avec PyTorch
Instructions
- Réglez le nombre d'étapes d'accumulation du gradient sur deux.
- Transmettez les arguments de formation à
Trainer.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()