1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Huấn luyện Mô hình AI Hiệu quả với PyTorch
Connected

Bài tập

Gradient checkpointing với Trainer

Bạn muốn dùng gradient checkpointing để giảm mức sử dụng bộ nhớ của mô hình. Bạn đã thấy cách viết vòng lặp huấn luyện tường minh với Accelerator, và giờ bạn muốn dùng giao diện đơn giản hơn, không cần vòng lặp huấn luyện, với Trainer. Bài tập sẽ mất một chút thời gian để chạy khi gọi trainer.train().

Thiết lập các đối số cho Trainer để sử dụng gradient checkpointing.

Hướng dẫn

100 XP
  • Dùng bốn bước tích lũy gradient trong TrainingArguments.
  • Bật gradient checkpointing trong TrainingArguments.
  • Truyền các đối số huấn luyện vào Trainer.