1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorch による効率的な AI モデルトレーニング
Connected

演習

Accelerator を使った AdamW

言語翻訳モデルに対して、Accelerator を使ってトレーニングループをカスタマイズし、ベースラインのオプティマイザーとして AdamW を使用しましょう。AdamW を使ったトレーニングループを構築してください。

model、train_dataloader、accelerator など、必要なオブジェクトはあらかじめ定義されています。

指示

100 XP
  • ループの前に、分散学習用にトレーニングオブジェクトを準備してください。
  • トレーニングループ内で、モデルのパラメータを更新してください。