Salva e carica lo stato del testo preprocessato
Hai terminato il preprocessing di un insieme di dati con domande e risposte in ambito agricolo per aiutare gli agricoltori a cercare i problemi più comuni sul campo. Per salvare i tuoi progressi, decidi di creare e caricare dei checkpoint dei dati di testo preprocessati.
Alcuni dati sono già stati precaricati:
dataloadercontiene un insieme di dati preprocessato con domande e risposte agricoleAcceleratorè stato importato daaccelerate
Questo esercizio fa parte del corso
Efficient AI Model Training with PyTorch
Istruzioni dell'esercizio
- Salva un checkpoint dei dati preprocessati in
checkpoint_dir. - Carica un checkpoint da
checkpoint_dir.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)