儲存與載入前處理文字的狀態
你已經完成一個農業問答資料集的前處理，目標是協助農民查找常見的田間問題。為了保存進度，你決定為前處理後的文字資料建立檢查點，並能夠載入這些檢查點。
已預先載入部分資料：
dataloader包含已前處理的農業問答資料集Accelerator已從accelerate匯入
本練習屬於課程
使用 PyTorch 高效訓練 AI 模型
練習說明
- 在
checkpoint_dir中儲存前處理資料的檢查點。 - 從
checkpoint_dir載入檢查點。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)