ПочатиПочніть безкоштовно

Збереження й завантаження стану попередньо обробленого тексту

Ви завершили попередню обробку набору даних із сільськогосподарськими запитаннями та відповідями, щоб допомогти аграріям знаходити типові проблеми в полі. Щоб зберегти свій прогрес, ви вирішили створити контрольні точки та завантажувати їх для попередньо оброблених текстових даних.

Деякі дані вже завантажено:

  • dataloader містить попередньо оброблений набір даних із сільськогосподарськими запитаннями та відповідями
  • Accelerator імпортовано з accelerate

Ця вправа є частиною курсу

Ефективне тренування моделей ШІ з PyTorch

Переглянути курс

Інструкції до вправи

  • Збережіть контрольну точку попередньо оброблених даних у checkpoint_dir.
  • Завантажте контрольну точку з checkpoint_dir.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)
Редагувати та запускати код