Préparer un modèle pour l’entraînement distribué

Vous avez décidé d’utiliser la bibliothèque Accelerator de Hugging Face pour entraîner votre modèle de traduction automatique. Il est temps de préparer votre modèle pour l’entraînement distribué !

Certaines données ont été préchargées :

accelerator est une instance de Accelerator
model, optimizer, train_dataloader et lr_scheduler ont été définis

Cet exercice fait partie du cours

Entraîner efficacement des modèles d’IA avec PyTorch

Afficher le cours

Instructions

Appelez une méthode pour préparer les objets à l’entraînement distribué.
Passez les objets d’entraînement à la méthode, en respectant l’ordre attendu par la sortie.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)

Modifier et exécuter le code