Lemmatization
यूज़र रिव्यूज़ के अपने विश्लेषण को आगे बढ़ाते हुए, आपने देखा कि स्टेमिंग कभी-कभी "flying" से "fli" जैसे non-standard शब्द बना देती है, जिससे व्याख्या करना मुश्किल हो सकता है. इसे सुधारने के लिए अब आप lemmatization का उपयोग करेंगे, जो वास्तविक शब्द लौटाता है और विश्लेषण की स्पष्टता और सटीकता दोनों बेहतर करता है.
WordNetLemmatizer इम्पोर्ट कर लिया गया है, stop_words परिभाषित है, और आवश्यक NLTK संसाधन डाउनलोड कर लिए गए हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में Natural Language Processing (NLP)
अभ्यास निर्देश
WordNetLemmatizer()क्लास का एक इंस्टेंसlemmatizerबनाएँ.lemmatizerका उपयोग करकेlower_tokensको lemmatize करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create lemmatizer
lemmatizer = ____()
# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]
print(lemmatized_tokens)