1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

Huấn luyện mixed precision với PyTorch cơ bản

Bạn sẽ dùng các kiểu số thực dấu chấm động độ chính xác thấp để tăng tốc huấn luyện cho mô hình dịch ngôn ngữ của mình. Ví dụ, kiểu số thực 16-bit (float16) chỉ bằng một nửa kích thước so với kiểu 32-bit (float32). Điều này giúp tăng tốc các phép nhân ma trận và tích chập. Hãy nhớ rằng điều này bao gồm việc scale gradient và ép kiểu các phép toán sang số thực 16-bit.

Một số đối tượng đã được nạp sẵn: dataset, model, dataloader, và optimizer.

Hướng dẫn

100 XP
  • Trước vòng lặp, định nghĩa một scaler cho gradient bằng torch.amp.GradScaler.
  • Trong vòng lặp, ép kiểu các phép toán sang số thực 16-bit bằng cách dùng torch.autocast như một context manager.
  • Trong vòng lặp, scale loss và gọi .backward() để tạo các gradient đã được scale.