Entraînement de précision mixte avec Trainer
Vous souhaitez simplifier votre interface d'entraînement pour l'entraînement de précision mixte. Comme alternative aux boucles d'apprentissage avec Accelerator, vous avez décidé de construire Trainer puisque votre modèle ne nécessite pas de boucles d'apprentissage personnalisées. Configurez Trainer pour utiliser l'entraînement mixte de précision ! L'exercice prendra un certain temps à se dérouler avec l'appel à trainer.train().
Cet exercice fait partie du cours
Entraînement efficace de modèles d'IA avec PyTorch
Instructions
- Permettre une formation de précision mixte pour
Trainer.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Enable mixed precision training
____=____
)
trainer = Trainer(model=model,
args=training_args,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics)
trainer.train()