Bắt đầu ngayBắt đầu miễn phí

Chuẩn bị mô hình cho huấn luyện phân tán

Bạn đã quyết định dùng thư viện Accelerator của Hugging Face để huấn luyện mô hình dịch ngôn ngữ. Giờ là lúc chuẩn bị mô hình cho huấn luyện phân tán!

Một số dữ liệu đã được nạp sẵn:

  • accelerator là một thực thể của Accelerator
  • model, optimizer, train_dataloader, và lr_scheduler đã được định nghĩa

Bài tập này là một phần của khóa học

Huấn luyện Mô hình AI Hiệu quả với PyTorch

Xem khóa học

Hướng dẫn bài tập

  • Gọi một phương thức để chuẩn bị các đối tượng cho huấn luyện phân tán.
  • Truyền các đối tượng huấn luyện như đối số vị trí vào accelerator.prepare(), theo đúng thứ tự của đầu ra.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)
Chỉnh sửa và Chạy Mã