分散学習用にモデルを準備する
Hugging Face の Accelerator ライブラリを使って、言語翻訳モデルを学習させることにしました。いよいよ、モデルを分散学習用に準備しましょう。
以下のデータは事前に読み込まれています。
acceleratorはAcceleratorのインスタンスですmodel、optimizer、train_dataloader、lr_schedulerが定義済みです
この演習はコースの一部です
PyTorch による効率的な AI モデルトレーニング
演習の手順
- 分散学習用にオブジェクトを準備するメソッドを呼び出しましょう。
- 出力の順序に合わせて、学習に必要なオブジェクトを位置引数として
accelerator.prepare()に渡しましょう。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)