1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

8-bit Adam với Accelerator

Bạn muốn tùy chỉnh vòng lặp huấn luyện với 8-bit Adam để giảm yêu cầu bộ nhớ của mô hình. Hãy chuẩn bị vòng lặp với 8-bit Adam để huấn luyện.

Giả sử một optimizer 8-bit Adam đã được định nghĩa là adam_bnb_optim. Các đối tượng huấn luyện khác đã được định nghĩa: model, train_dataloader, lr_scheduler, và accelerator.

Hướng dẫn

100 XP
  • Chuẩn bị optimizer 8-bit Adam cho huấn luyện phân tán.
  • Cập nhật tham số mô hình bằng optimizer.
  • Đặt gradient về 0 bằng optimizer.