Trainer के साथ Gradient accumulation
आप अपने भाषा अनुवाद मॉडल के लिए Trainer में gradient accumulation सेट कर रहे हैं ताकि आप प्रभावी रूप से बड़े बैचों पर ट्रेन कर सकें। आपका मॉडल MRPC डेटासेट से paraphrases पर ट्रेन होकर अनुवादों को सरल करेगा। प्रशिक्षण आर्गुमेंट्स को इस तरह कॉन्फ़िगर करें कि gradients accumulate हों! trainer.train() कॉल के साथ इस अभ्यास को चलने में थोड़ा समय लगेगा।
model, dataset, और compute_metrics() फंक्शन पहले से परिभाषित हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण
अभ्यास निर्देश
- gradient accumulation steps की संख्या दो सेट करें.
- प्रशिक्षण आर्गुमेंट्स को
Trainerमें पास करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()