Accelerator を使った Adafactor

Trainer を使った Adafactor の概念実証として、メモリ使用量を抑えた言語翻訳モデルのトレーニングを実証しました。次は、Accelerator を使ってトレーニングループをカスタマイズしてみましょう。Adafactor を使ったトレーニングループを構築してください。

compute_optimizer_size() 関数はあらかじめ定義されています。また、model、train_dataloader、accelerator といったトレーニングオブジェクトも事前に読み込まれています。Adafactor は torch.optim からインポート済みです。