Accelerator के साथ ऑटोमेटिक डिवाइस प्लेसमेंट
आपका conversational AI मॉडल एक बहुत बड़े डेटासेट पर ट्रेन होना है, इसलिए आपने मॉडल को GPU पर ले जाने का निर्णय लिया है. आप ऑटोमेटिक डिवाइस प्लेसमेंट के लिए Accelerator का उपयोग कर रहे हैं. ध्यान दें, यह अभ्यास वास्तव में CPU पर चलता है, लेकिन GPU पर चलाने के लिए कोड वही रहता है.
एक BERT-आधारित मॉडल पहले से model के रूप में प्रीलोड किया गया है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण
अभ्यास निर्देश
- उचित क्लास का इंस्टेंस बनाकर एक
acceleratorऑब्जेक्ट घोषित करें. - GPU के साथ डिस्ट्रीब्यूटेड ट्रेनिंग के लिए मॉडल तैयार करने में
acceleratorऑब्जेक्ट का उपयोग करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
from accelerate import Accelerator
# Declare an accelerator object
accelerator = ____()
# Prepare the model for distributed training
model = accelerator.____(model)
print(accelerator.device)