Lemmatizasyon
Kullanıcı yorumlarını analiz etmeye devam ederken, stemleme işleminin bazen "flying" kelimesinden "fli" gibi standart olmayan sözcükler ürettiğini ve bunun yorumlanabilirliği azaltabildiğini fark ettin. Bunu çözmek için artık, gerçek sözcükler döndüren ve analizinin açıklığını ve doğruluğunu artırmaya yardımcı olan lemmatizasyonu kullanacaksın.
WordNetLemmatizer içe aktarıldı, stop_words tanımlandı ve gerekli NLTK kaynakları indirildi.
Bu egzersiz, kursun bir parçasıdır
Python ile Natural Language Processing (NLP)
Egzersiz talimatları
WordNetLemmatizer()sınıfının bir örneğinilemmatizeradıyla oluştur.lemmatizerı kullanaraklower_tokensüzerinde lemmatizasyon yap.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create lemmatizer
lemmatizer = ____()
# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]
print(lemmatized_tokens)