Préparer des jeux de données pour l’entraînement distribué

Vous avez prétraité un jeu de données pour un système d’agriculture de précision afin d’aider les agriculteurs à surveiller la santé des cultures. Vous allez maintenant charger les données en créant un DataLoader et placer les données sur des GPU pour l’entraînement distribué, si des GPU sont disponibles. Notez que l’exercice utilise en fait un CPU, mais le code est le même pour les CPU et les GPU.

Certaines données ont été préchargées :

Un dataset d’exemple avec des images agricoles
La classe Accelerator de la bibliothèque accelerate
La classe DataLoader

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Créez un dataloader pour le dataset prédéfini.
Placez le dataloader sur les appareils disponibles à l’aide de l’objet accelerator.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Modifier et exécuter le code