1. Learn
  2. /
  3. कोर्स
  4. /
  5. Python में LLMs का परिचय

Connected

अभ्यास

टेक्स्ट को टोकनाइज़ करना

आप Hugging Face का एक प्री-ट्रेंड मॉडल उपयोग करके उसे अपनी कंपनी की सपोर्ट टीम के डेटा से फाइन-ट्यून करना चाहते हैं, ताकि इंटरैक्शन को churn के जोखिम के आधार पर वर्गीकृत किया जा सके. इससे टीम यह तय कर सकेगी कि पहले किस पर ध्यान देना है और कैसे देना है, जिससे उनका काम अधिक प्रोएक्टिव होगा.

फाइन-ट्यूनिंग के लिए ट्रेनिंग और टेस्ट डेटा को टेक्स्ट टोकनाइज़ करके तैयार करें.

AutoTokenizer और AutoModelForSequenceClassification आपके लिए लोड कर दिए गए हैं.

निर्देश

100 XP
  • फाइन-ट्यूनिंग की तैयारी के लिए प्री-ट्रेंड मॉडल और टोकनाइज़र लोड करें.
  • train_data["interaction"] और test_data["interaction"] दोनों को टोकनाइज़ करें, और padding तथा sequence truncation को सक्षम करें.