Enregistrer et charger l’état du texte prétraité

Vous avez terminé le prétraitement d’un jeu de données de questions et réponses en agriculture pour aider les agriculteurs à trouver rapidement des problèmes courants sur le terrain. Pour conserver vos progrès, vous décidez de créer et de charger des points de contrôle du texte prétraité.

Certaines données ont été préchargées :

dataloader contient un jeu de données prétraité de questions et réponses en agriculture
Accelerator a été importé depuis accelerate

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Enregistrez un point de contrôle des données prétraitées dans checkpoint_dir.
Chargez un point de contrôle à partir de checkpoint_dir.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Modifier et exécuter le code