Accumulation de gradients avec Trainer
Vous configurez Trainer pour votre modèle de traduction automatique afin d’utiliser l’accumulation de gradients et d’entraîner efficacement sur des lots plus grands. Votre modèle simplifiera les traductions en s’entraînant sur des paraphrases du jeu de données MRPC. Configurez les arguments d’entraînement pour accumuler les gradients ! L’exécution prendra un certain temps avec l’appel à trainer.train().
Le model, le dataset et la fonction compute_metrics() ont été préconfigurés.
Cet exercice fait partie du cours
<cours>Entraîner efficacement des modèles d’IA avec PyTorch</cours>Instructions de l’exercice
- Définissez le nombre d’étapes d’accumulation de gradients à deux.
- Passez les arguments d’entraînement à
Trainer.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()