AutoClasses का उपयोग
आप ने देखा कि टोकनाइज़र कैसे काम करते हैं और टेक्स्ट को मॉडल के लिए तैयार करने में उनकी क्या भूमिका है. अब इसे एक कदम आगे बढ़ाते हैं: pipeline() फंक्शन के साथ AutoModels और AutoTokenizers को मिलाकर इस्तेमाल करेंगे. इससे कंट्रोल और सुविधा, दोनों का अच्छा संतुलन मिलता है.
सेंटिमेंट एनालिसिस टास्क जारी रखें और AutoClasses को पाइपलाइन मॉड्यूल के साथ संयोजित करें.
transformers लाइब्रेरी से AutoModelForSequenceClassification, AutoTokenizer और pipeline पहले से इम्पोर्ट किए गए हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Hugging Face के साथ काम करना
अभ्यास निर्देश
- मॉडल और टोकनाइज़र डाउनलोड करें और क्रमशः
my_modelऔरmy_tokenizerके रूप में सेव करें. - पाइपलाइन बनाएँ और
my_pipelineके रूप में सेव करें. my_pipelineका उपयोग करके आउटपुट प्रिडिक्ट करें औरoutputके रूप में सेव करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Download the model and tokenizer
my_model = ____.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
my_tokenizer = ____.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
# Create the pipeline
my_pipeline = pipeline(task="sentiment-analysis", ____=____, ____=____)
# Predict the sentiment
output = ____("This course is pretty good, I guess.")
print(f"Sentiment using AutoClasses: {output[0]['label']}")