Guardar y cargar el estado del texto preprocesado

Has terminado de preprocesar un conjunto de datos de preguntas y respuestas agrícolas para ayudar a agricultores a buscar problemas comunes en el campo. Para guardar tu progreso, decides crear y cargar puntos de control del texto preprocesado.

Se ha precargado parte de los datos:

dataloader contiene un conjunto de datos preprocesado de preguntas y respuestas agrícolas
Accelerator se ha importado desde accelerate

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Guarda un punto de control de los datos preprocesados en checkpoint_dir.
Carga un punto de control desde checkpoint_dir.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Editar y ejecutar código