1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

Vòng lặp huấn luyện trước và sau khi dùng Accelerator

Bạn muốn chỉnh sửa một vòng lặp huấn luyện PyTorch để dùng Accelerator cho mô hình ngôn ngữ, nhằm đơn giản hóa việc dịch bằng bộ dữ liệu MPRC gồm các cặp câu diễn đạt lại. Hãy cập nhật vòng lặp huấn luyện để chuẩn bị mô hình cho huấn luyện phân tán.

Một số dữ liệu đã được tải sẵn:

  • accelerator là một thể hiện của Accelerator
  • train_dataloader, optimizer, model, và lr_scheduler đã được định nghĩa và chuẩn bị với Accelerator

Hướng dẫn

100 XP
  • Cập nhật các dòng .to(device) để Accelerator xử lý việc gán thiết bị.
  • Sửa phần tính gradient để dùng Accelerator.