Zustand vorverarbeiteter Texte speichern und laden

Du hast die Vorverarbeitung eines Datensatzes mit landwirtschaftlichen Fragen und Antworten abgeschlossen, damit Landwirtinnen und Landwirte häufige Probleme im Feld nachschlagen können. Um deinen Fortschritt zu sichern, möchtest du Checkpoints der vorverarbeiteten Textdaten erstellen und wieder laden.

Einige Daten wurden bereits geladen:

dataloader enthält einen vorverarbeiteten Datensatz mit landwirtschaftlichen Fragen und Antworten
Accelerator wurde aus accelerate importiert

Diese Übung ist Teil des Kurses

Effizientes KI-Modelltraining mit PyTorch

Kurs anzeigen

Anleitung zur Übung

Speichere einen Checkpoint der vorverarbeiteten Daten in checkpoint_dir.
Lade einen Checkpoint aus checkpoint_dir.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Code bearbeiten und ausführen