Pregătirea seturilor de date pentru antrenamentul distribuit

Ai preprocessat un set de date pentru un sistem de agricultură de precizie care îi ajută pe fermieri să monitorizeze sănătatea culturilor. Acum vei încărca datele creând un DataLoader și le vei plasa pe GPU-uri pentru antrenamentul distribuit, dacă există GPU-uri disponibile. Reține că exercițiul folosește de fapt un CPU, dar codul este același atât pentru CPU-uri, cât și pentru GPU-uri.

Unele date au fost pre-încărcate:

Un dataset cu imagini agricole
Clasa Accelerator din biblioteca accelerate
Clasa DataLoader

Acest exercițiu face parte din cursul

Antrenament eficient al modelelor AI cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Creează un dataloader pentru dataset-ul predefinit.
Plasează dataloader-ul pe dispozitivele disponibile folosind obiectul accelerator.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Editează și rulează codul