AdamW với Trainer
Bạn bắt đầu huấn luyện một mô hình Transformer để đơn giản hóa việc dịch ngôn ngữ. Bước đầu tiên, bạn chọn dùng optimizer AdamW làm mốc so sánh và giao diện Trainer để thiết lập nhanh. Hãy cấu hình Trainer để dùng optimizer AdamW.
AdamW đã được import sẵn từ torch.optim. Một số đối tượng phục vụ huấn luyện đã được nạp sẵn: model, training_args, train_dataset, validation_dataset, compute_metrics.
Bài tập này là một phần của khóa học
Huấn luyện Mô hình AI Hiệu quả với PyTorch
Hướng dẫn bài tập
- Truyền các tham số của
modelvàooptimizerAdamW. - Truyền
optimizervàoTrainer.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())
# Pass the optimizer to Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
optimizers=(____, None),
compute_metrics=compute_metrics)
trainer.train()