1. 学ぶ
  2. /
  3. コース
  4. /
  5. PyTorch による効率的な AI モデルトレーニング

Connected

演習

Trainer による勾配累積

言語翻訳モデルに勾配累積(gradient accumulation)を使用するよう Trainer を設定します。これにより、より大きなバッチで効果的にトレーニングできるようになります。モデルは MRPC データセットの言い換えデータを使ってトレーニングを行い、翻訳の簡略化を学習します。勾配を累積するようにトレーニング引数を設定しましょう。trainer.train() の呼び出しにより、実行には少し時間がかかります。

model、dataset、および compute_metrics() 関数はあらかじめ定義済みです。

指示

100 XP
  • 勾配累積のステップ数を 2 に設定します。
  • Trainer にトレーニング引数を渡します。