Uložení a načtení stavu předzpracovaného textu
Dokončil/a jsi předzpracování datasetu zemědělských otázek a odpovědí, který má zemědělcům pomoci rychle najít řešení běžných problémů v terénu. Abys o svůj postup nepřišel/nepřišla, rozhodneš se vytvořit checkpointy předzpracovaných textových dat a pak je znovu načíst.
Některá data jsou předpřipravena:
dataloaderobsahuje předzpracovaný dataset zemědělských otázek a odpovědíAcceleratorbyl importován zaccelerate
Toto cvičení je součástí kurzu
Efficient AI Model Training with PyTorch
Pokyny k cvičení
- Ulož checkpoint předzpracovaných dat do
checkpoint_dir. - Načti checkpoint z
checkpoint_dir.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)