Datensätze für verteiltes Training vorbereiten

Du hast einen Datensatz für ein Precision-Agriculture-System vorverarbeitet, damit Landwirtinnen und Landwirte die Pflanzengesundheit überwachen können. Jetzt lädst du die Daten, indem du einen DataLoader erstellst, und platzierst sie für verteiltes Training auf GPUs, falls verfügbar. Beachte: In dieser Übung wird tatsächlich eine CPU verwendet, aber der Code ist für CPUs und GPUs identisch.

Einige Daten wurden vorab geladen:

Ein Beispiel-dataset mit landwirtschaftlichen Bildern
Die Klasse Accelerator aus der Bibliothek accelerate
Die Klasse DataLoader

Diese Übung ist Teil des Kurses

<Kurs>Effizientes KI-Modelltraining mit PyTorch</Kurs>

Kurs ansehen

Übungsanweisungen

Erstelle einen dataloader für den vordefinierten dataset.
Platziere den dataloader mit dem Objekt accelerator auf den verfügbaren Geräten.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

accelerator = Accelerator()

# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)

# Place the dataloader on available devices
dataloader = accelerator.____(____)

print(accelerator.device)

Code bearbeiten und ausführen