1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

Tích lũy gradient với Trainer

Bạn đang thiết lập Trainer cho mô hình dịch ngôn ngữ để dùng tích lũy gradient, giúp bạn huấn luyện hiệu quả với batch lớn hơn. Mô hình của bạn sẽ đơn giản hóa bản dịch bằng cách huấn luyện trên các câu diễn đạt lại (paraphrase) từ bộ dữ liệu MRPC. Hãy cấu hình tham số huấn luyện để tích lũy gradient! Bài tập sẽ mất một chút thời gian khi gọi trainer.train().

model, dataset, và hàm compute_metrics() đã được định nghĩa sẵn.

Hướng dẫn

100 XP
  • Đặt số bước tích lũy gradient là 2.
  • Truyền các tham số huấn luyện vào Trainer.