Trainer を使った混合精度トレーニング
混合精度トレーニングのインターフェースをシンプルにしたいとします。Accelerator を使ったトレーニングループの代わりとして、カスタムのトレーニングループが不要なモデルには Trainer を使うことにしました。Trainer で混合精度トレーニングを設定しましょう。trainer.train() の呼び出しにより、実行には少し時間がかかります。
この演習はコースの一部です
PyTorch による効率的な AI モデルトレーニング
演習の手順
Trainerで混合精度トレーニングを有効にしてください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Enable mixed precision training
____=____
)
trainer = Trainer(model=model,
args=training_args,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics)
trainer.train()