Huấn luyện độ chính xác hỗn hợp với Accelerator
Bạn muốn đơn giản hóa vòng lặp PyTorch cho huấn luyện độ chính xác hỗn hợp của mô hình dịch ngôn ngữ bằng cách dùng Accelerator. Hãy xây dựng vòng lặp huấn luyện mới để tận dụng Accelerator!
Một số đối tượng đã được nạp sẵn: dataset, model, dataloader, và optimizer.
Bài tập này là một phần của khóa học
Huấn luyện Mô hình AI Hiệu quả với PyTorch
Hướng dẫn bài tập
- Bật huấn luyện độ chính xác hỗn hợp bằng FP16 trong
Accelerator. - Chuẩn bị các đối tượng huấn luyện cho độ chính xác hỗn hợp trước khi vào vòng lặp.
- Tính gradient của loss cho huấn luyện độ chính xác hỗn hợp.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")
# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
# Compute the gradients of the loss
____.____(loss)
optimizer.step()
optimizer.zero_grad()