Trainer での AdamW の使用

言語翻訳を簡略化する Transformer モデルのトレーニングを始めましょう。最初のステップとして、ベースラインとなる AdamW オプティマイザを使用し、Trainer インターフェースで手軽にセットアップします。AdamW の optimizer を使用するように Trainer を設定してください。

AdamW は torch.optim からあらかじめインポートされています。また、model、training_args、train_dataset、validation_dataset、compute_metrics などのトレーニング用オブジェクトも事前に読み込まれています。

この演習はコースの一部です

PyTorch による効率的な AI モデルトレーニング

コースを見る

演習の手順

model のパラメータを AdamW の optimizer に渡しましょう。
optimizer を Trainer に渡しましょう。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

コードを編集して実行