Préparer un modèle pour l'entraînement distribué

Vous avez décidé d'utiliser la bibliothèque Accelerator de Hugging Face pour entraîner votre modèle de traduction automatique. Il est maintenant temps de préparer votre modèle pour l'entraînement distribué!

Certaines données ont été préchargées :

accelerator est une instance de Accelerator
model, optimizer, train_dataloader et lr_scheduler ont été définis

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Appelez une méthode pour préparer les objets à l'entraînement distribué.
Passez les objets d'entraînement comme arguments positionnels à accelerator.prepare(), en respectant l'ordre de la sortie.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)

Modifier et exécuter le code