प्रीप्रोसेस्ड टेक्स्ट की स्टेट सेव और लोड करें
आपने खेत में आम समस्याएँ खोजने में किसानों की मदद के लिए कृषि से जुड़े प्रश्नों और उत्तरों के एक डेटासेट का प्रीप्रोसेसिंग पूरा कर लिया है। अपनी प्रगति सेव करने के लिए, आप प्रीप्रोसेस्ड टेक्स्ट डेटा के चेकपॉइंट बनाकर उन्हें लोड करने का निर्णय लेते हैं.
कुछ डेटा पहले से प्रीलोडेड है:
dataloaderमें कृषि से जुड़े प्रश्नों और उत्तरों का प्रीप्रोसेस्ड डेटासेट हैAcceleratorकोaccelerateसे इम्पोर्ट किया गया है
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण
अभ्यास निर्देश
checkpoint_dirमें प्रीप्रोसेस्ड डेटा का एक चेकपॉइंट सेव करें.checkpoint_dirसे एक चेकपॉइंट लोड करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)
checkpoint_dir = Path("preprocess_checkpoint")
# Save a checkpoint of the data
____.____(checkpoint_dir)
# Load from the checkpoint
____.____(checkpoint_dir)