Salvar e carregar o estado do texto pré-processado
Você terminou de pré-processar um conjunto de dados de perguntas e respostas agrícolas para ajudar os agricultores a procurar problemas comuns no campo. Para salvar seu progresso, você decide criar e carregar pontos de verificação dos dados de texto pré-processados.
Alguns dados foram pré-carregados:
dataloadercontém um conjunto de dados pré-processado de perguntas e respostas sobre agriculturaAcceleratorfoi importado deaccelerate
Este exercício faz parte do curso
Treinamento eficiente de modelos de IA com PyTorch
Instruções do exercício
- Salve um ponto de verificação dos dados pré-processados em
checkpoint_dir. - Carregue um ponto de verificação de
checkpoint_dir.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)