1. सीखें
    2. /
  2. पाठ्यक्रम
    3. /
  3. PyTorch による効率的な AI モデルトレーニング
Connected

अभ्यास

オプティマイザのサイズを計算する

モデルの学習に使用するオプティマイザを比較するために、各オプティマイザのメモリ使用量を定量的に評価します。今回は、DistilBERT モデルと AdamW オプティマイザを読み込んだ状態で、メモリ使用量を計測します。オプティマイザのサイズを計算する compute_optimizer_size 関数を作成しましょう。

AdamW の optimizer は（Trainer を使わずに）直接定義されており、学習はすでに完了しています。

निर्देश

100 XP
  • for ループ内で、各 tensor の要素数と各要素のサイズを計算します。
  • optimizer の合計サイズをメガバイト単位で計算します。
  • optimizer.state に適切なメソッドを使用して、オプティマイザの状態辞書にアクセスします。