Enregistrer et charger l’état d’un texte prétraité

Vous avez terminé le prétraitement d’un jeu de données de questions-réponses agricoles pour aider les agriculteurs à retrouver les problèmes courants sur le terrain. Pour conserver votre progression, vous décidez de créer et de charger des points de contrôle des données textuelles prétraitées.

Certaines données ont été préchargées :

dataloader contient un jeu de données prétraité de questions-réponses agricoles
Accelerator a été importé depuis accelerate

Cet exercice fait partie du cours

Entraîner efficacement des modèles d’IA avec PyTorch

Afficher le cours

Instructions

Enregistrez un point de contrôle des données prétraitées dans checkpoint_dir.
Chargez un point de contrôle depuis checkpoint_dir.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Modifier et exécuter le code