Lưu và tải trạng thái của văn bản đã tiền xử lý
Bạn đã hoàn tất tiền xử lý một bộ dữ liệu câu hỏi và trả lời về nông nghiệp để giúp nông dân tra cứu các vấn đề thường gặp trên đồng ruộng. Để lưu tiến độ, bạn quyết định tạo và tải các checkpoint của dữ liệu văn bản đã tiền xử lý.
Một số dữ liệu đã được nạp sẵn:
dataloaderchứa bộ dữ liệu đã tiền xử lý gồm các câu hỏi và trả lời về nông nghiệpAcceleratorđã được import từaccelerate
Bài tập này là một phần của khóa học
Huấn luyện Mô hình AI Hiệu quả với PyTorch
Hướng dẫn bài tập
- Lưu một checkpoint của dữ liệu đã tiền xử lý trong
checkpoint_dir. - Tải một checkpoint từ
checkpoint_dir.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)