प्रीप्रोसेस किए हुए डेटासेट सेव करना
अपने कस्टमर सर्विस चैटबॉट प्रोजेक्ट के हिस्से के रूप में, आपने अब Llama मॉडल को फाइन-ट्यून करने के लिए एक डेटासेट तैयार कर लिया है. अगला कदम डेटासेट को सेव करना है ताकि आप उसे बाद में बिना प्रीप्रोसेसिंग दोहराए फिर से लोड कर सकें. इससे आपकी टीम कई प्रयोगों और इटरेशन में उसी डेटासेट का पुन: उपयोग कर पाएगी.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Llama 3 के साथ फाइन-ट्यूनिंग
अभ्यास निर्देश
- प्रीप्रोसेस किया हुआ डेटासेट
dsडिस्क पर सेव करें. - सेव किए गए डेटासेट को एक नए वैरिएबल
ds_preprocessedमें लोड करें. ds_preprocessedके पहले एलिमेंट को प्रिंट करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
from datasets import load_from_disk
# Save the dataset to disk
____
# Load the dataset from disk
ds_preprocessed = ____
# Print the first element of the loaded dataset
print(____)