Préparer des jeux de données pour l’entraînement distribué

Vous avez prétraité un jeu de données pour un système d’agriculture de précision afin d’aider les agriculteurs à surveiller l’état des cultures. Vous allez maintenant charger les données en créant un DataLoader et placer les données sur des GPU pour l’entraînement distribué, si des GPU sont disponibles. Notez que l’exercice utilise en réalité un CPU, mais le code est identique pour les CPU et les GPU.

Certaines données ont été préchargées :

Un dataset d’exemple avec des images agricoles
La classe Accelerator de la bibliothèque accelerate
La classe DataLoader

Cet exercice fait partie du cours

Entraîner efficacement des modèles d’IA avec PyTorch

Afficher le cours

Instructions

Créez un dataloader pour le dataset prédéfini.
Placez le dataloader sur les appareils disponibles à l’aide de l’objet accelerator.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Modifier et exécuter le code