Entraînement en précision mixte avec Trainer
Vous souhaitez simplifier votre interface d’entraînement pour la précision mixte. En alternative aux boucles d’entraînement avec Accelerator, vous avez décidé d’utiliser Trainer puisque votre modèle ne nécessite pas de boucles personnalisées. Configurez Trainer pour utiliser l’entraînement en précision mixte ! L’exercice prendra un certain temps à s’exécuter lors de l’appel à trainer.train().
Cet exercice fait partie du cours
<cours>Entraîner efficacement des modèles d’IA avec PyTorch</cours>Instructions de l’exercice
- Activez l’entraînement en précision mixte pour
Trainer.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Enable mixed precision training
____=____
)
trainer = Trainer(model=model,
args=training_args,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics)
trainer.train()