1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

AdamW với Accelerator

Bạn muốn tùy biến vòng lặp huấn luyện bằng Accelerator và dùng AdamW như một bộ tối ưu chuẩn đối chứng cho mô hình dịch ngôn ngữ của mình. Hãy xây dựng vòng lặp huấn luyện để sử dụng AdamW.

Một số đối tượng phục vụ huấn luyện đã được nạp sẵn và định nghĩa, gồm có model, train_dataloader, và accelerator.

Hướng dẫn

100 XP
  • Chuẩn bị các đối tượng huấn luyện cho huấn luyện phân tán trước khi vào vòng lặp.
  • Cập nhật các tham số mô hình trong vòng lặp huấn luyện.