Prepare conjuntos de dados para treinamento distribuído

Você pré-processou um conjunto de dados para um sistema de agricultura de precisão que ajuda agricultores a monitorar a saúde das plantações. Agora, você vai carregar os dados criando um DataLoader e colocá-los em GPUs para treinamento distribuído, se GPUs estiverem disponíveis. Observe que o exercício usa CPU, mas o código é o mesmo para CPUs e GPUs.

Alguns dados já foram carregados:

Um dataset de exemplo com imagens agrícolas
A classe Accelerator da biblioteca accelerate
A classe DataLoader

Este exercício faz parte do curso

Treinamento Eficiente de Modelos de IA com PyTorch

Ver curso

Instruções do exercício

Crie um dataloader para o dataset predefinido.
Coloque o dataloader nos dispositivos disponíveis usando o objeto accelerator.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Editar e executar o código