Accelerator による自動デバイス配置
大規模なデータセットで会話 AI モデルを学習させるために、モデルを GPU に移動することにしました。自動デバイス配置には Accelerator を活用します。この演習は実際には CPU 上で実行されますが、GPU で実行する場合もコードは同じです。
BERT ベースのモデルが model としてあらかじめ読み込まれています。
この演習はコースの一部です
PyTorch による効率的な AI モデルトレーニング
演習の手順
- 適切なクラスをインスタンス化して、
acceleratorオブジェクトを宣言しましょう。 acceleratorオブジェクトを使って、GPU での分散学習用にモデルを準備しましょう。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
from accelerate import Accelerator
# Declare an accelerator object
accelerator = ____()
# Prepare the model for distributed training
model = accelerator.____(model)
print(accelerator.device)