Trainer ile gradyan biriktirme
Daha büyük yığınlarla etkili şekilde eğitebilmek için dil çeviri modelin için Trainer'ı gradyan biriktirme kullanacak şekilde ayarlıyorsun. Modelin, MRPC veri kümesindeki paraphraseler üzerinde eğitim alarak çevirileri basitleştirecek. Eğitim argümanlarını gradyanları biriktirecek şekilde yapılandır! trainer.train() çağrısı nedeniyle egzersizin çalışması biraz zaman alacak.
model, dataset ve compute_metrics() işlevi önceden tanımlandı.
Bu egzersiz, kursun bir parçasıdır
PyTorch ile Verimli AI Model Eğitimi
Egzersiz talimatları
- Gradyan biriktirme adımı sayısını iki olarak ayarla.
- Eğitim argümanlarını
Trainer'a geçir.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()