1. सीखें
    2. /
  2. पाठ्यक्रम
    3. /
  3. PyTorch による効率的な AI モデルトレーニング
Connected

अभ्यास

Trainer を使った Adafactor

数十億のパラメータを持つ Transformer モデルを、言語翻訳サービス向けに学習させています。計算リソースへの負荷が大きいため、AdamW と比べてメモリ使用量を抑えられる Adafactor オプティマイザを試すことにしました。Adafactor を使えるよう、Trainer を準備しましょう。

model、train_dataset、validation_dataset、compute_metrics など、いくつかの学習オブジェクトはあらかじめ読み込まれています。

निर्देश

100 XP
  • TrainingArguments でオプティマイザとして Adafactor を指定します。
  • オプティマイザの状態を渡して、そのサイズを出力します。