保存并加载预处理文本的状态
您已经完成了一个农业问答数据集的预处理，用于帮助农户查找常见问题。为保存当前进度，您决定为预处理后的文本数据创建并加载检查点。
以下数据已预加载：
dataloader包含一个已预处理的农业问答数据集- 已从
accelerate导入Accelerator
本练习是课程的一部分
使用 PyTorch 高效训练 AI 模型
练习说明
- 在
checkpoint_dir中保存预处理数据的检查点。 - 从
checkpoint_dir中加载检查点。
交互式实操练习
通过完成这段示例代码来试试这个练习。
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)