De status van voorbewerkte tekst opslaan en laden

Je hebt het voorbewerken afgerond van een gegevensset met landbouwvragen en -antwoorden om boeren te helpen veelvoorkomende problemen in het veld op te zoeken. Om je voortgang te bewaren, besluit je checkpoints van de voorbewerkte tekstgegevens te maken en te laden.

Sommige data is alvast geladen:

dataloader bevat een voorbewerkte gegevensset met landbouwvragen en -antwoorden
Accelerator is geïmporteerd uit accelerate

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Sla een checkpoint van de voorbewerkte data op in checkpoint_dir.
Laad een checkpoint uit checkpoint_dir.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Code bewerken en uitvoeren