開始使用免費開始

詞形還原(Lemmatization)

在持續分析使用者評論時,你注意到詞幹提取有時會產生不標準的詞,例如把「flying」變成「fli」,這會降低可解讀性。為了改善這點,你現在改用詞形還原(lemmatization),它會回傳實際存在的單字,有助於提升分析的清晰度與準確性。

WordNetLemmatizer 已經匯入,stop_words 已定義,且必要的 NLTK 資源也已下載完成。

本練習屬於課程

Python 的 Natural Language Processing(NLP)

檢視課程

練習說明

  • 建立一個 WordNetLemmatizer() 類別的實例 lemmatizer
  • 使用 lemmatizerlower_tokens 進行詞形還原。

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']

# Create lemmatizer
lemmatizer = ____()

# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]

print(lemmatized_tokens)
編輯並執行程式碼