Zustand vorverarbeiteter Texte speichern und laden

Du hast die Vorverarbeitung eines Datensatzes mit landwirtschaftlichen Fragen und Antworten abgeschlossen, damit Landwirtinnen und Landwirte häufige Probleme im Feld nachschlagen können. Um deinen Fortschritt zu sichern, möchtest du Checkpoints der vorverarbeiteten Textdaten erstellen und wieder laden.

Einige Daten wurden bereits geladen:

dataloader enthält einen vorverarbeiteten Datensatz mit landwirtschaftlichen Fragen und Antworten
Accelerator wurde aus accelerate importiert

Diese Übung ist Teil des Kurses

<Kurs>Effizientes KI-Modelltraining mit PyTorch</Kurs>

Kurs ansehen

Übungsanweisungen

Speichere einen Checkpoint der vorverarbeiteten Daten in checkpoint_dir.
Lade einen Checkpoint aus checkpoint_dir.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Code bearbeiten und ausführen