1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorch による効率的な AI モデルトレーニング
Connected

演習

Trainer を使った勾配チェックポインティング

勾配チェックポインティング（gradient checkpointing）を使ってモデルのメモリ使用量を削減しましょう。Accelerator を使った明示的なトレーニングループの書き方はすでに学びました。次は、Trainer を使ってトレーニングループを省略した、よりシンプルなインターフェイスを試します。trainer.train() の呼び出しにより、実行には少し時間がかかります。

勾配チェックポインティングを使用するために、Trainer の引数を設定しましょう。

指示

100 XP
  • TrainingArguments で勾配累積ステップ数を 4 に設定します。
  • TrainingArguments で勾配チェックポインティングを有効にします。
  • トレーニング引数を Trainer に渡します。