Entraînement en précision mixte avec Trainer
Vous souhaitez simplifier votre interface d’entraînement pour la précision mixte. En alternative aux boucles d’entraînement avec Accelerator, vous avez décidé d’utiliser Trainer puisque votre modèle ne nécessite pas de boucles personnalisées. Configurez Trainer pour utiliser l’entraînement en précision mixte ! L’exercice prendra un certain temps à s’exécuter lors de l’appel à trainer.train().
Cet exercice fait partie du cours
Entraîner efficacement des modèles d’IA avec PyTorch
Instructions
- Activez l’entraînement en précision mixte pour
Trainer.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Enable mixed precision training
____=____
)
trainer = Trainer(model=model,
args=training_args,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics)
trainer.train()