Spara och läs in tillståndet för förbehandlad text
Du har slutfört förbehandlingen av en datamängd med jordbruksfrågor och -svar för att hjälpa lantbrukare att slå upp vanliga problem i fält. För att spara dina framsteg väljer du att skapa och läsa in kontrollpunkter för den förbehandlade textdatan.
En del data har förinspelade:
dataloaderinnehåller en förbehandlad datamängd med jordbruksfrågor och -svarAcceleratorhar importerats frånaccelerate
Den här övningen är en del av kursen
Effektiv AI-modellträning med PyTorch
Övningsinstruktioner
- Spara en kontrollpunkt av den förbehandlade datan i
checkpoint_dir. - Läs in en kontrollpunkt från
checkpoint_dir.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)