1. Learn
  2. /
  3. Courses
  4. /
  5. PyTorch による効率的な AI モデルトレーニング

Connected

Exercise

Accelerator を使った勾配チェックポインティング

引き続き、使用するデバイス上で言語翻訳モデルをトレーニングできるよう、メモリ使用量の最適化を進めましょう。勾配累積(グラジェント・アキュムレーション)により、より大きなバッチサイズでの効果的なトレーニングが可能になりました。次のステップとして、モデルのメモリ使用量をさらに削減するために、勾配チェックポインティング(グラジェント・チェックポインティング)を追加しましょう。

model、train_dataloader、accelerator はあらかじめ定義されています。

Instructions

100 XP
  • model の勾配チェックポインティングを有効にします。
  • model の勾配累積を有効にするための Accelerator コンテキストマネージャーを設定します。