Sauvegarder et charger l'état du texte prétraité
Vous avez terminé le prétraitement d'un ensemble de données de questions et réponses agricoles afin d'aider les agriculteurs à trouver les problèmes les plus courants dans les champs. Pour enregistrer vos progrès, vous décidez de créer et de charger des points de contrôle des données textuelles prétraitées.
Certaines données ont été préchargées :
dataloadercontient un ensemble de données prétraitées de questions et de réponses sur l'agricultureAcceleratora été importé deaccelerate
Cet exercice fait partie du cours
Entraînement efficace de modèles d'IA avec PyTorch
Instructions
- Enregistrez un point de contrôle des données prétraitées dans
checkpoint_dir. - Chargez un point de contrôle à partir de
checkpoint_dir.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)