Placement automatique sur l’appareil avec Accelerator
Votre modèle d’IA conversationnelle doit s’entraîner sur un ensemble de données massif, donc vous avez décidé de déplacer le modèle vers un GPU. Vous utilisez Accelerator pour le placement automatique sur l’appareil. Notez que cet exercice s’exécute en fait sur le CPU, mais le code demeure le même pour une exécution sur le GPU.
Un modèle basé sur BERT a été préchargé sous le nom model.
Cette activité fait partie du cours
Entraînement efficace de modèles d’IA avec PyTorch
Instructions de l’exercice
- Déclarez un objet
acceleratoren instanciant la classe appropriée. - Utilisez l’objet
acceleratorpour préparer le modèle à l’entraînement distribué avec GPU.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
from accelerate import Accelerator
# Declare an accelerator object
accelerator = ____()
# Prepare the model for distributed training
model = accelerator.____(model)
print(accelerator.device)