Accelerator を使ったローカル SGD

言語翻訳モデルのメモリ使用量を最適化するために、勾配累積（gradient accumulation）と勾配チェックポインティング（gradient checkpointing）を実装しました。しかし、トレーニングがまだ少し遅いため、デバイス間の通信効率を向上させるために、トレーニングループにローカル SGD を追加することにしました。ローカル SGD を使ったトレーニングループを構築しましょう！

model、train_dataloader、accelerator はあらかじめ定義されており、LocalSGD はインポート済みです。