Préparer un modèle pour l’entraînement distribué

Vous avez choisi d’utiliser la bibliothèque Accelerator de Hugging Face pour entraîner votre modèle de traduction automatique. Il est maintenant temps de préparer votre modèle pour l’entraînement distribué !

Des données ont été préchargées :

accelerator est une instance de Accelerator
model, optimizer, train_dataloader et lr_scheduler ont été définis

Cet exercice fait partie du cours

<cours>Entraîner efficacement des modèles d’IA avec PyTorch</cours>

Voir le cours

Instructions de l’exercice

Appelez une méthode pour préparer les objets à l’entraînement distribué.
Passez les objets d’entraînement comme arguments positionnels à accelerator.prepare(), en respectant l’ordre de la sortie.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)

Modifier et exécuter le code