टेक्स्ट को टोकनाइज़ करना
आप Hugging Face का एक प्री-ट्रेंड मॉडल उपयोग करके उसे अपनी कंपनी की सपोर्ट टीम के डेटा से फाइन-ट्यून करना चाहते हैं, ताकि इंटरैक्शन को churn के जोखिम के आधार पर वर्गीकृत किया जा सके. इससे टीम यह तय कर सकेगी कि पहले किस पर ध्यान देना है और कैसे देना है, जिससे उनका काम अधिक प्रोएक्टिव होगा.
फाइन-ट्यूनिंग के लिए ट्रेनिंग और टेस्ट डेटा को टेक्स्ट टोकनाइज़ करके तैयार करें.
AutoTokenizer और AutoModelForSequenceClassification आपके लिए लोड कर दिए गए हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में LLMs का परिचय
अभ्यास निर्देश
- फाइन-ट्यूनिंग की तैयारी के लिए प्री-ट्रेंड मॉडल और टोकनाइज़र लोड करें.
train_data["interaction"]औरtest_data["interaction"]दोनों को टोकनाइज़ करें, और padding तथा sequence truncation को सक्षम करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Load the model and tokenizer
model = ____.____("distilbert-base-uncased")
tokenizer = ____.____("distilbert-base-uncased")
# Tokenize the data
tokenized_training_data = ____(train_data["interaction"], return_tensors="pt", ____, ____, max_length=20)
tokenized_test_data = ____(test_data["interaction"], return_tensors="pt", ____, ____, max_length=20)
print(tokenized_training_data)