Préparer un modèle de formation distribuée
Vous avez décidé d'utiliser la bibliothèque Hugging Face Accelerator pour entraîner votre modèle de traduction linguistique. Il est maintenant temps de préparer votre modèle pour l'entraînement distribué !
Certaines données ont été préchargées :
acceleratorest une instance deAcceleratormodelLes noms suivants ont été définis :optimizer,train_dataloader, etlr_scheduler
Cet exercice fait partie du cours
Entraînement efficace de modèles d'IA avec PyTorch
Instructions
- Appelez une méthode pour préparer les objets pour la formation distribuée.
- Transmettez les objets d'apprentissage à la méthode, en respectant l'ordre de la sortie.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)