在 Trainer 中使用 AdamW

你正開始訓練一個 Transformer 模型，用來簡化語言翻譯。第一步，你決定使用 AdamW 最佳化器作為基準，並透過 Trainer 介面快速完成設定。請設定 Trainer 使用 AdamW optimizer。

AdamW 已從 torch.optim 預先匯入。部分訓練物件已預先載入：model、training_args、train_dataset、validation_dataset、compute_metrics。

本練習屬於課程

使用 PyTorch 高效訓練 AI 模型

檢視課程

練習說明

將 model 的參數傳入 AdamW optimizer。
將該 optimizer 傳入 Trainer。

動手互動練習

試著完成這個範例程式碼，體驗一下這個練習。

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

編輯並執行程式碼