Mulai sekarangMulai gratis

Akumulasi gradien dengan Trainer

Anda sedang menyiapkan Trainer untuk model penerjemahan bahasa agar menggunakan akumulasi gradien, sehingga Anda dapat melatih secara efektif pada batch yang lebih besar. Model Anda akan menyederhanakan terjemahan dengan melatih pada parafrasa dari himpunan data MRPC. Konfigurasikan argumen pelatihan untuk mengakumulasi gradien! Latihan ini akan memerlukan waktu untuk dijalankan saat memanggil trainer.train().

model, dataset, dan fungsi compute_metrics() telah didefinisikan sebelumnya.

Latihan ini merupakan bagian dari kursus

Pelatihan Model AI Efisien dengan PyTorch

Lihat Kursus

Instruksi latihan

  • Tetapkan jumlah langkah akumulasi gradien menjadi dua.
  • Teruskan argumen pelatihan ke Trainer.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    # Set the number of gradient accumulation steps to two
    ____=____
)
trainer = Trainer(
    model=model,
    # Pass in the training arguments to Trainer
    ____=____,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    compute_metrics=compute_metrics,
)
trainer.train()
Edit dan Jalankan Kode