Gradient checkpointing dengan Trainer
Anda ingin menggunakan gradient checkpointing untuk mengurangi jejak memori model Anda. Anda telah melihat cara menulis loop pelatihan eksplisit dengan Accelerator, dan kini Anda ingin menggunakan antarmuka yang lebih sederhana tanpa loop pelatihan dengan Trainer. Latihan ini akan memerlukan waktu untuk dijalankan saat memanggil trainer.train().
Siapkan argumen untuk Trainer agar menggunakan gradient checkpointing.
Latihan ini merupakan bagian dari kursus
Pelatihan Model AI Efisien dengan PyTorch
Instruksi latihan
- Gunakan empat langkah akumulasi gradien dalam
TrainingArguments. - Aktifkan gradient checkpointing di
TrainingArguments. - Teruskan argumen pelatihan ke
Trainer.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
training_args = TrainingArguments(output_dir="./results",
evaluation_strategy="epoch",
# Use four gradient accumulation steps
gradient_accumulation_steps=____,
# Enable gradient checkpointing
gradient_checkpointing=____)
trainer = Trainer(model=model,
# Pass in the training arguments
args=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics)
trainer.train()