1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

Adafactor với Accelerator

Bạn đã chứng minh được nguyên mẫu (proof-of-concept) dùng Adafactor với Trainer để huấn luyện mô hình dịch ngôn ngữ với yêu cầu bộ nhớ thấp hơn. Giờ bạn muốn tự viết vòng lặp huấn luyện bằng Accelerator. Hãy xây dựng vòng lặp huấn luyện sử dụng Adafactor!

Hàm compute_optimizer_size() đã được định nghĩa sẵn. Một số đối tượng huấn luyện đã được nạp trước: model, train_dataloader, và accelerator. Adafactor đã được import sẵn từ torch.optim.

Hướng dẫn

100 XP
  • Truyền các tham số của mô hình vào Adafactor khi định nghĩa optimizer.
  • Truyền trạng thái của optimizer để in ra kích thước.