Mulai sekarangMulai gratis

Menyimpan dan memuat status teks yang telah dipraproses

Anda telah menyelesaikan prapemrosesan himpunan data berisi pertanyaan dan jawaban pertanian untuk membantu petani mencari masalah umum di lapangan. Untuk menyimpan progres, Anda memutuskan untuk membuat dan memuat checkpoint dari data teks yang telah dipraproses.

Beberapa data sudah dimuat sebelumnya:

  • dataloader berisi himpunan data pertanyaan dan jawaban pertanian yang telah dipraproses
  • Accelerator telah diimpor dari accelerate

Latihan ini merupakan bagian dari kursus

Pelatihan Model AI Efisien dengan PyTorch

Lihat Kursus

Instruksi latihan

  • Simpan checkpoint dari data yang telah dipraproses di checkpoint_dir.
  • Muat checkpoint dari checkpoint_dir.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)
Edit dan Jalankan Kode