Préparer les ensembles de données pour l'entraînement distribué

Vous avez prétraité un ensemble de données pour un système d'agriculture de précision destiné à aider les agriculteurs à contrôler la santé de leurs cultures. Vous allez maintenant charger les données en créant un DataLoader et les placer sur des GPU pour l'entraînement distribué, si des GPU sont disponibles. Notez que l'exercice utilise en fait un CPU, mais que le code est le même pour les CPU et les GPU.

Certaines données ont été préchargées :

Un exemple de dataset avec des images agricoles
La classe Accelerator de la bibliothèque accelerate
La classe DataLoader

Cet exercice fait partie du cours

Entraînement efficace de modèles d'IA avec PyTorch

Afficher le cours

Instructions

Créez un site dataloader pour le site prédéfini dataset.
Placez le site dataloader sur les appareils disponibles à l'aide de l'objet accelerator.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Modifier et exécuter le code