Accelerator を使った勾配累積

複雑な文を言い換えることで翻訳を簡潔にする言語モデルをトレーニングしていますが、GPU のメモリが不足しています。勾配累積（gradient accumulation）を使うと、メモリに収まる小さなバッチを活用して、より大きなバッチで効果的にトレーニングを行えます。トレーニングループの構造を明示的に確認したいため、Accelerator を使用します。なお、この演習は実際には CPU 上で動作しますが、GPU でもコードは同じです。

model、train_dataloader、optimizer、および lr_scheduler はあらかじめ定義されています。