टेक्स्ट का प्रीप्रोसेसिंग
कोई भी रिकमेंडेशन सिस्टम, या कोई भी मॉडल बनाने से पहले, टेक्स्ट का प्रीप्रोसेसिंग करना ज़रूरी होता है.
यहाँ Sherlock Holmes से लिया गया टेक्स्ट ब्लॉक लोड किया गया है. इसे वीडियो में समझाई गई अलग-अलग तकनीकों से प्रीप्रोसेस करें ताकि आगे के विश्लेषण के लिए डेटा तैयार हो जाए.
वैरिएबल text Arthur Conan Doyle की किताब The Hound of the Baskervilles से लिया गया अंश है.
आपके लिए निम्नलिखित पैकेज और फंक्शन पहले से लोड हैं:
nltk, torch, get_tokenizer, PorterStemmer, stopwords.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ टेक्स्ट के लिए डीप लर्निंग
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Initialize and tokenize the text
tokenizer = ____("basic_english")
tokens = ____(____)
print(tokens)