8-bit Adam と Trainer
8-bit Adam オプティマイザーの設定が完了しました。次は、Trainer でこのオプティマイザーを使用できるように準備しましょう。
以下のデータはあらかじめ読み込まれています。
adam_bnb_optimオプティマイザーmodel、train_dataset、training_argsなどのトレーニング用オブジェクト
この演習はコースの一部です
PyTorch による効率的な AI モデルトレーニング
演習の手順
- 8-bit Adam オプティマイザーを
Trainerに渡してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics,
optimizers=(____, None))