开始使用免费开始使用

词形还原(Lemmatization)

在继续分析用户评论时,您注意到词干提取有时会产生非常规词形,例如把 "flying" 变成 "fli",这会降低可解释性。为了解决这个问题,您现在将使用词形还原,它会返回真实的词形,有助于提升分析的清晰度和准确性。

WordNetLemmatizer 已导入,stop_words 已定义,且所需的 NLTK 资源已下载。

本练习是课程的一部分

Python 中的自然语言处理(NLP)

查看课程

练习说明

  • 创建一个 WordNetLemmatizer() 类的实例 lemmatizer
  • 使用 lemmatizerlower_tokens 进行词形还原。

交互式实操练习

通过完成这段示例代码来试试这个练习。

clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']

# Create lemmatizer
lemmatizer = ____()

# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]

print(lemmatized_tokens)
编辑并运行代码