1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

Gradient checkpointing với Accelerator

Bạn đang tiếp tục tối ưu hóa việc sử dụng bộ nhớ để có thể huấn luyện mô hình dịch ngôn ngữ ngay trên thiết bị của mình. Gradient accumulation đã giúp bạn huấn luyện hiệu quả với kích thước batch lớn hơn. Hãy phát huy tiếp công việc này bằng cách thêm gradient checkpointing để giảm dấu chân bộ nhớ của mô hình.

model, train_dataloader và accelerator đã được định nghĩa sẵn.

Hướng dẫn

100 XP
  • Bật gradient checkpointing trên model.
  • Thiết lập một context manager của Accelerator để bật gradient accumulation trên model.