1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

Lưu và tải trạng thái của văn bản đã tiền xử lý

Bạn đã hoàn tất tiền xử lý một bộ dữ liệu câu hỏi và trả lời về nông nghiệp để giúp nông dân tra cứu các vấn đề thường gặp trên đồng ruộng. Để lưu tiến độ, bạn quyết định tạo và tải các checkpoint của dữ liệu văn bản đã tiền xử lý.

Một số dữ liệu đã được nạp sẵn:

  • dataloader chứa bộ dữ liệu đã tiền xử lý gồm các câu hỏi và trả lời về nông nghiệp
  • Accelerator đã được import từ accelerate

Hướng dẫn

100 XP
  • Lưu một checkpoint của dữ liệu đã tiền xử lý trong checkpoint_dir.
  • Tải một checkpoint từ checkpoint_dir.