Trainer による勾配累積
言語翻訳モデルに勾配累積（gradient accumulation）を使用するよう Trainer を設定します。これにより、より大きなバッチで効果的にトレーニングできるようになります。モデルは MRPC データセットの言い換えデータを使ってトレーニングを行い、翻訳の簡略化を学習します。勾配を累積するようにトレーニング引数を設定しましょう。trainer.train() の呼び出しにより、実行には少し時間がかかります。
model、dataset、および compute_metrics() 関数はあらかじめ定義済みです。
この演習はコースの一部です
PyTorch による効率的な AI モデルトレーニング
演習の手順
- 勾配累積のステップ数を 2 に設定します。
Trainerにトレーニング引数を渡します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()