Guardar y cargar el estado del texto preprocesado

Has terminado de preprocesar un conjunto de datos de preguntas y respuestas agrícolas para ayudar a los agricultores a buscar problemas comunes en el campo. Para guardar tu progreso, decide crear y cargar puntos de control de los datos de texto preprocesados.

Se han precargado algunos datos:

dataloader contiene un conjunto de datos preprocesados de preguntas y respuestas agrícolas
Accelerator se ha importado de accelerate

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Guarda un punto de control de los datos preprocesados en checkpoint_dir.
Carga un punto de control desde checkpoint_dir.

Ejercicio interactivo práctico

Prueba este ejercicio completando el código de muestra.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Editar y ejecutar código