De status van voorbewerkte tekst opslaan en laden

Je hebt het voorbewerken afgerond van een gegevensset met landbouwvragen en -antwoorden om boeren te helpen veelvoorkomende problemen in het veld op te zoeken. Om je voortgang te bewaren, besluit je checkpoints van de voorbewerkte tekstgegevens te maken en te laden.

Sommige data is alvast geladen:

dataloader bevat een voorbewerkte gegevensset met landbouwvragen en -antwoorden
Accelerator is geïmporteerd uit accelerate

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Cursus bekijken

Oefeninstructies

Sla een checkpoint van de voorbewerkte data op in checkpoint_dir.
Laad een checkpoint uit checkpoint_dir.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Code bewerken en uitvoeren