Preparar conjuntos de datos para el entrenamiento distribuido

Has preprocesado un conjunto de datos para un sistema de agricultura de precisión que ayuda a los agricultores a controlar la salud de los cultivos. Ahora cargarás los datos creando un DataLoader y colocarás los datos en las GPUs para el entrenamiento distribuido, si hay GPUs disponibles. Ten en cuenta que el ejercicio utiliza realmente una CPU, pero el código es el mismo para CPU y GPU.

Se han precargado algunos datos:

Una muestra dataset con imágenes agrícolas
La clase Accelerator de la biblioteca accelerate
La clase DataLoader

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Crea un dataloader para el dataset predefinido.
Coloca el dataloader en los dispositivos disponibles utilizando el objeto accelerator.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Editar y ejecutar código