Accelerator के साथ एक ट्रेनिंग लूप बनाना

आप अपनी लैंग्वेज ट्रांसलेशन सर्विस के लिए एक ट्रेनिंग लूप इम्प्लीमेंट करने के लिए तैयार हैं. आपने देखा है कि डिस्ट्रीब्यूटेड ट्रेनिंग के लिए Accelerator किस तरह PyTorch लूप को मॉडिफाई करता है, अब आप अपने ट्रेनिंग लूप में Accelerator क्लास का लाभ उठा सकते हैं!

कुछ डेटा पहले से लोड किया गया है:

accelerator Accelerator का एक इंस्टेंस है
train_dataloader, optimizer, model, और lr_scheduler को परिभाषित कर लिया गया है और Accelerator के साथ तैयार किया गया है

यह अभ्यास पाठ्यक्रम का हिस्सा है

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

पाठ्यक्रम देखें

अभ्यास निर्देश

ग्रेडिएंट्स को शून्य करने के लिए optimizer कॉल करें.
मॉडल के पैरामीटर्स अपडेट करें.
optimizer का लर्निंग रेट अपडेट करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

for batch in train_dataloader:
    # Call the optimizer to zero the gradients
    ____.____()
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    # Update the model's parameters
    ____.____()
    # Update the learning rate of the optimizer
    ____.____()

कोड संपादित करें और चलाएँ