Gegevenssets voorbereiden voor gedistribueerde training

Je hebt een gegevensset voor precisielandbouw voorbewerkt om boeren te helpen de gewasgezondheid te monitoren. Nu ga je de data laden door een DataLoader te maken en de data op GPU's te plaatsen voor gedistribueerde training, als er GPU's beschikbaar zijn. Let op: de oefening gebruikt eigenlijk een CPU, maar de code is hetzelfde voor CPU's en GPU's.

Er is al wat data vooraf geladen:

Een voorbeeld-dataset met landbouwafbeeldingen
De klasse Accelerator uit de accelerate-bibliotheek
De klasse DataLoader

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Maak een dataloader voor de vooraf gedefinieerde dataset.
Plaats de dataloader op beschikbare apparaten met het accelerator-object.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Code bewerken en uitvoeren