文本预处理:去除停用词
在写作中,停用词几乎不可避免。但当您要判断两段文本的相似度,或试图在文本中寻找主题时,停用词往往会妨碍分析。以《动物农场》为例,第一章只有 2,636 个词,其中将近 200 个都是 "the"。
在文本分析项目中,"the" 通常帮不上忙。本练习中,您将从《动物农场》第一章中移除停用词。
本练习是课程的一部分
R 自然语言处理入门
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)