1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch による効率的な AI モデルトレーニング
Connected

연습 문제

Accelerator を使った 8-bit Adam

8-bit Adam を使ってモデルのメモリ使用量を削減するため、カスタムのトレーニングループを作成したいと思います。8-bit Adam を使ったトレーニングループを準備しましょう。

8-bit Adam オプティマイザーは adam_bnb_optim として定義済みです。また、model、train_dataloader、lr_scheduler、accelerator といったトレーニングに必要なオブジェクトもすでに定義されています。

지침

100 XP
  • 8-bit Adam オプティマイザーを分散トレーニング用に準備します。
  • オプティマイザーを使ってモデルのパラメーターを更新します。
  • オプティマイザーを使って勾配をゼロにリセットします。