Accumulation de gradients avec Trainer
Vous configurez Trainer pour votre modèle de traduction automatique afin d’utiliser l’accumulation de gradients, ce qui vous permet d’entraîner efficacement sur des lots plus volumineux. Votre modèle simplifiera les traductions en s’entraînant sur des paraphrases tirées de l’ensemble de données MRPC. Configurez les arguments d’entraînement pour accumuler les gradients ! L’exécution de l’exercice prendra un certain temps avec l’appel à trainer.train().
Le model, le dataset et la fonction compute_metrics() ont été prédéfinis.
Cette activité fait partie du cours
Entraînement efficace de modèles d’IA avec PyTorch
Instructions de l’exercice
- Réglez le nombre d’étapes d’accumulation des gradients à deux.
- Transmettez les arguments d’entraînement à
Trainer.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()