1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

Huấn luyện độ chính xác hỗn hợp với Accelerator

Bạn muốn đơn giản hóa vòng lặp PyTorch cho huấn luyện độ chính xác hỗn hợp của mô hình dịch ngôn ngữ bằng cách dùng Accelerator. Hãy xây dựng vòng lặp huấn luyện mới để tận dụng Accelerator!

Một số đối tượng đã được nạp sẵn: dataset, model, dataloader, và optimizer.

Hướng dẫn

100 XP
  • Bật huấn luyện độ chính xác hỗn hợp bằng FP16 trong Accelerator.
  • Chuẩn bị các đối tượng huấn luyện cho độ chính xác hỗn hợp trước khi vào vòng lặp.
  • Tính gradient của loss cho huấn luyện độ chính xác hỗn hợp.