1. Learn
    2. /
  2. 课程
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

道练习

Adafactor với Trainer

Bạn đang huấn luyện một mô hình Transformer với hàng tỷ tham số cho dịch vụ dịch ngôn ngữ của mình. Việc này đang gây áp lực lớn lên tài nguyên tính toán, nên bạn quyết định thử bộ tối ưu hóa Adafactor để giảm yêu cầu bộ nhớ so với AdamW. Hãy chuẩn bị Trainer cho Adafactor!

Một số đối tượng phục vụ huấn luyện đã được nạp sẵn, bao gồm model, train_dataset, validation_dataset, và compute_metrics.

说明

100 XP
  • Chỉ định Adafactor làm bộ tối ưu hóa trong TrainingArguments.
  • Truyền vào trạng thái của bộ tối ưu hóa để in kích thước.