Salvează și încarcă starea textului preprocesat

Ai terminat preprocesarea unui set de date cu întrebări și răspunsuri din domeniul agricol, menit să îi ajute pe fermieri să găsească rapid soluții la problemele frecvente din teren. Pentru a-ți salva progresul, vei crea și încărca puncte de control (checkpoints) ale datelor text preprocesat.

Unele date au fost preîncărcate:

dataloader conține un set de date preprocesat cu întrebări și răspunsuri din domeniul agricol
Accelerator a fost importat din accelerate

Acest exercițiu face parte din cursul

Antrenament eficient al modelelor AI cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Salvează un checkpoint al datelor preprocesat în checkpoint_dir.
Încarcă un checkpoint din checkpoint_dir.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Editează și rulează codul