Entraînement en précision mixte avec Trainer

Vous souhaitez simplifier votre interface d’entraînement pour la précision mixte. Plutôt que d’utiliser des boucles d’entraînement avec Accelerator, vous avez décidé d’utiliser Trainer, puisque votre modèle n’exige pas de boucles personnalisées. Configurez Trainer pour utiliser l’entraînement en précision mixte ! L’exécution prendra un certain temps avec l’appel à trainer.train().

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Activez l’entraînement en précision mixte pour Trainer.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    # Enable mixed precision training
    ____=____
)
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=dataset["train"],
                  eval_dataset=dataset["validation"],
                  compute_metrics=compute_metrics)
trainer.train()

Modifier et exécuter le code