詞形還原(Lemmatization)
在持續分析使用者評論時,你注意到詞幹提取有時會產生不標準的詞,例如把「flying」變成「fli」,這會降低可解讀性。為了改善這點,你現在改用詞形還原(lemmatization),它會回傳實際存在的單字,有助於提升分析的清晰度與準確性。
WordNetLemmatizer 已經匯入,stop_words 已定義,且必要的 NLTK 資源也已下載完成。
本練習屬於課程
Python 的 Natural Language Processing(NLP)
練習說明
- 建立一個
WordNetLemmatizer()類別的實例lemmatizer。 - 使用
lemmatizer對lower_tokens進行詞形還原。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create lemmatizer
lemmatizer = ____()
# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]
print(lemmatized_tokens)