Prepara conjuntos de datos para entrenamiento distribuido
Has preprocesado un conjunto de datos para un sistema de agricultura de precisión que ayuda a los agricultores a monitorizar la salud de los cultivos. Ahora vas a cargar los datos creando un DataLoader y a colocar los datos en GPU para entrenamiento distribuido, si hay GPU disponibles. Ten en cuenta que el ejercicio en realidad usa una CPU, pero el código es el mismo para CPU y GPU.
Se han precargado algunos datos:
- Un
datasetde ejemplo con imágenes agrícolas - La clase
Acceleratorde la bibliotecaaccelerate - La clase
DataLoader
Este ejercicio forma parte del curso
Entrenamiento eficiente de modelos de IA con PyTorch
Instrucciones del ejercicio
- Crea un
dataloaderpara eldatasetpredefinido. - Coloca el
dataloaderen los dispositivos disponibles usando el objetoaccelerator.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
accelerator = Accelerator()
# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)
# Place the dataloader on available devices
dataloader = accelerator.____(____)
print(accelerator.device)