Przygotowanie zbiorów danych do treningu rozproszonego

Wstępnie przetworzyłeś zbiór danych dla systemu precyzyjnego rolnictwa, który pomaga rolnikom monitorować stan upraw. Teraz załadujesz dane, tworząc obiekt DataLoader, i umieścisz je na GPU do treningu rozproszonego – o ile GPU są dostępne. Pamiętaj, że ćwiczenie korzysta faktycznie z CPU, ale kod jest taki sam zarówno dla CPU, jak i GPU.

Następujące elementy zostały wstępnie załadowane:

Przykładowy dataset ze zdjęciami upraw rolnych
Klasa Accelerator z biblioteki accelerate
Klasa DataLoader

To ćwiczenie jest częścią kursu

Efektywne trenowanie modeli AI z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Utwórz obiekt dataloader dla wstępnie zdefiniowanego dataset.
Umieść dataloader na dostępnych urządzeniach, korzystając z obiektu accelerator.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Edytuj i uruchom kod