Placement automatique des dispositifs avec Accelerator
Votre modèle d'IA conversationnelle doit s'entraîner sur un ensemble massif de données. Vous avez donc décidé de transférer le modèle sur un GPU. Vous utilisez Accelerator pour le placement automatique des appareils. Notez que cet exercice s'exécute en fait sur le CPU, mais que le code reste le même pour l'exécution sur le GPU.
Un modèle basé sur le BERT a été préchargé à l'adresse model.
Cet exercice fait partie du cours
Entraînement efficace de modèles d'IA avec PyTorch
Instructions
- Déclarez un objet
acceleratoren instanciant la classe appropriée. - Utilisez l'objet
acceleratorpour préparer le modèle à l'apprentissage distribué avec le GPU.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
from accelerate import Accelerator
# Declare an accelerator object
accelerator = ____()
# Prepare the model for distributed training
model = accelerator.____(model)
print(accelerator.device)