1. Learn
    2. /
  2. Courses
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Exercise

Tích lũy gradient với Accelerator

Bạn đang huấn luyện một mô hình ngôn ngữ để đơn giản hóa bản dịch bằng cách diễn đạt lại các câu phức tạp, nhưng GPU của bạn bị thiếu bộ nhớ. Tích lũy gradient cho phép mô hình huấn luyện hiệu quả trên các lô dữ liệu lớn hơn bằng cách dùng các lô nhỏ vừa với bộ nhớ. Bạn muốn tự viết vòng lặp huấn luyện để thấy rõ cấu trúc, nên bạn đang dùng Accelerator. Lưu ý: bài tập này thực tế chạy trên CPU, nhưng mã cho GPU cũng giống hệt.

model, train_dataloader, optimizer và lr_scheduler đã được định nghĩa sẵn.

Instructions

100 XP
  • Cấu hình Accelerator() để dùng tích lũy gradient với hai bước.
  • Thiết lập một context manager của Accelerator để bật tích lũy gradient cho model.