वितरित प्रशिक्षण के लिए मॉडल तैयार करें
आपने अपने लैंग्वेज ट्रांसलेशन मॉडल को ट्रेन करने के लिए Hugging Face की Accelerator लाइब्रेरी इस्तेमाल करने का निर्णय लिया है. अब मॉडल को वितरित प्रशिक्षण के लिए तैयार करने का समय है!
कुछ डेटा पहले से लोड किया गया है:
acceleratorAcceleratorका एक इंस्टेंस हैmodel,optimizer,train_dataloader, औरlr_schedulerपरिभाषित हैं
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण
अभ्यास निर्देश
- वितरित प्रशिक्षण के लिए ऑब्जेक्ट्स तैयार करने वाली मेथड कॉल करें.
- ट्रेनिंग ऑब्जेक्ट्स को
accelerator.prepare()में positional arguments के रूप में पास करें, और आउटपुट के क्रम से मैच करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)