Bắt đầu ngayBắt đầu miễn phí

8-bit Adam với Trainer

Bạn đã thiết lập một optimizer Adam 8-bit và sẵn sàng dùng nó để huấn luyện. Hãy chuẩn bị Trainer cho Adam 8-bit!

Một số dữ liệu đã được nạp sẵn:

  • Optimizer adam_bnb_optim
  • Các đối tượng huấn luyện như model, train_dataset, và training_args

Bài tập này là một phần của khóa học

Huấn luyện Mô hình AI Hiệu quả với PyTorch

Xem khóa học

Hướng dẫn bài tập

  • Truyền optimizer Adam 8-bit vào Trainer.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  optimizers=(____, None))
Chỉnh sửa và Chạy Mã