Preparar conjuntos de dados para treinamento distribuído

Você pré-processou um conjunto de dados para um sistema de agricultura de precisão para ajudar os agricultores a monitorar a saúde das culturas. Agora você carregará os dados criando um DataLoader e colocará os dados em GPUs para treinamento distribuído, se houver GPUs disponíveis. Observe que o exercício realmente usa uma CPU, mas o código é o mesmo para CPUs e GPUs.

Alguns dados foram pré-carregados:

Uma amostra dataset com imagens agrícolas
A classe Accelerator da biblioteca accelerate
A classe DataLoader

Este exercício faz parte do curso

Treinamento eficiente de modelos de IA com PyTorch

Ver curso

Instruções do exercício

Crie um dataloader para o dataset predefinido.
Coloque o dataloader nos dispositivos disponíveis usando o objeto accelerator.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Editar e executar o código