शुरू करेंमुफ़्त में शुरू करें

Trainer के साथ Gradient accumulation

आप अपने भाषा अनुवाद मॉडल के लिए Trainer में gradient accumulation सेट कर रहे हैं ताकि आप प्रभावी रूप से बड़े बैचों पर ट्रेन कर सकें। आपका मॉडल MRPC डेटासेट से paraphrases पर ट्रेन होकर अनुवादों को सरल करेगा। प्रशिक्षण आर्गुमेंट्स को इस तरह कॉन्फ़िगर करें कि gradients accumulate हों! trainer.train() कॉल के साथ इस अभ्यास को चलने में थोड़ा समय लगेगा।

model, dataset, और compute_metrics() फंक्शन पहले से परिभाषित हैं.

यह अभ्यास पाठ्यक्रम का हिस्सा है

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

पाठ्यक्रम देखें

अभ्यास निर्देश

  • gradient accumulation steps की संख्या दो सेट करें.
  • प्रशिक्षण आर्गुमेंट्स को Trainer में पास करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    # Set the number of gradient accumulation steps to two
    ____=____
)
trainer = Trainer(
    model=model,
    # Pass in the training arguments to Trainer
    ____=____,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    compute_metrics=compute_metrics,
)
trainer.train()
कोड संपादित करें और चलाएँ