Salvar e carregar o estado do texto pré-processado
Você terminou de pré-processar um conjunto de dados de perguntas e respostas agrícolas para ajudar agricultores a buscar problemas comuns no campo. Para salvar seu progresso, você decide criar e carregar checkpoints dos dados de texto pré-processados.
Alguns dados já foram carregados:
dataloadercontém um conjunto de dados pré-processado de perguntas e respostas agrícolasAcceleratorfoi importado deaccelerate
Este exercicio faz parte do curso
Treinamento Eficiente de Modelos de IA com PyTorch
Instruções do exercicio
- Salve um checkpoint dos dados pré-processados em
checkpoint_dir. - Carregue um checkpoint de
checkpoint_dir.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)