词形还原(Lemmatization)
在继续分析用户评论时,您注意到词干提取有时会产生非常规词形,例如把 "flying" 变成 "fli",这会降低可解释性。为了解决这个问题,您现在将使用词形还原,它会返回真实的词形,有助于提升分析的清晰度和准确性。
WordNetLemmatizer 已导入,stop_words 已定义,且所需的 NLTK 资源已下载。
本练习是课程的一部分
Python 中的自然语言处理(NLP)
练习说明
- 创建一个
WordNetLemmatizer()类的实例lemmatizer。 - 使用
lemmatizer对lower_tokens进行词形还原。
交互式实操练习
通过完成这段示例代码来试试这个练习。
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create lemmatizer
lemmatizer = ____()
# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]
print(lemmatized_tokens)