CommencezCommencez gratuitement

Accueil
Cours
Entraînement efficace de modèles d’IA avec PyTorch

Point de contrôle des gradients et SGD local

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

SkillTag.level.advancedSkillTag.label

4.9+

Commencer le cours gratuitement

Vous préparerez les données pour l’entraînement distribué en répartissant les données sur plusieurs appareils et en copiant le modèle sur chacun. Accelerator offre une interface pratique pour la préparation des données, et vous apprendrez à prétraiter des images, de l’audio et du texte comme première étape de l’entraînement distribué.

Exercise 1: Préparer des modèles avec AutoModel et Accelerator Exercise 2: Charger et inspecter des modèles préentraînés Exercise 3: Placement automatique sur l’appareil avec Accelerator Exercise 4: Prétraiter les images et l’audio pour l’entraînement Exercise 5: Prétraiter des jeux de données d’images Exercise 6: Prétraiter des jeux de données audio Exercise 7: Préparer des jeux de données pour l’entraînement distribué Exercise 8: Prétraiter le texte pour l’entraînement Exercise 9: Prétraiter du texte avec AutoTokenizer Exercise 10: Enregistrer et charger l’état du texte prétraité

Dans l’entraînement distribué, chaque appareil s’entraîne en parallèle sur ses propres données. Vous étudierez deux méthodes d’entraînement distribué : Accelerator permet des boucles d’entraînement personnalisées, et Trainer simplifie l’interface d’entraînement.

Exercise 1: Ajuster finement des modèles avec Trainer Exercise 2: Définir des métriques d’évaluation Exercise 3: Spécifier les TrainingArguments Exercise 4: Configurer le Trainer Exercise 5: Entraîner des modèles avec Accelerator Exercise 6: Préparer un modèle pour l'entraînement distribué Exercise 7: Boucles d’entraînement avant et après Accelerator Exercise 8: Créer une boucle d’entraînement avec Accelerator Exercise 9: Évaluer des modèles avec Accelerator Exercise 10: Passer le modèle en mode évaluation Exercise 11: Consigner les mesures d’évaluation

L’entraînement distribué met à rude épreuve les ressources avec de grands modèles et jeux de données, mais vous pouvez relever ces défis en améliorant l’utilisation de la mémoire, la communication entre appareils et l’efficacité de calcul. Vous découvrirez l’accumulation de gradients, le gradient checkpointing, la descente de gradient stochastique locale (local SGD) et l’entraînement en précision mixte.

Exercise 1: Accumulation des gradients Exercise 2: Accumulation de gradients avec Accelerator Exercise 3: Accumulation de gradients avec Trainer Exercise 4: Point de contrôle des gradients et SGD local

Exercice en cours

Exercise 5: Gradient checkpointing avec Accelerator Exercise 6: Gradient checkpointing avec Trainer Exercise 7: SGD local avec Accelerator Exercise 8: Entraînement en précision mixte Exercise 9: Entraînement en précision mixte avec PyTorch de base Exercise 10: Entraînement en précision mixte avec Accelerator Exercise 11: Entraînement en précision mixte avec Trainer

Vous vous concentrerez sur les optimiseurs comme leviers pour améliorer l’efficacité de l’entraînement distribué, en mettant en évidence les compromis entre AdamW, Adafactor et Adam 8 bits. Réduire le nombre de paramètres ou utiliser une faible précision aide à diminuer l’empreinte mémoire d’un modèle.

Exercise 1: Entraînement équilibré avec AdamW Exercise 2: AdamW avec Trainer Exercise 3: AdamW avec Accelerator Exercise 4: Calculer la taille de l’optimiseur Exercise 5: Entraînement économe en mémoire avec Adafactor Exercise 6: Adafactor avec Trainer Exercise 7: Adafactor avec Accelerator Exercise 8: Entraînement en précision mixte avec Adam en 8 bits Exercise 9: Configurer l’optimiseur Adam en 8 bits Exercise 10: Adam 8 bits avec Trainer Exercise 11: Adam 8 bits avec Accelerator Exercise 12: De quel optimiseur s’agit-il?Exercise 13: Félicitations !