テキスト前処理：ストップワードを除去する
ストップワードは文章にはつきものです。ただし、2つのテキストの類似度を測ったり、テキスト内のテーマを見つけたりする際には、ストップワードが邪魔になることがあります。たとえば『Animal Farm』の第1章は2,636語しかありませんが、そのうち約200語が "the" です。
通常、テキスト分析では "the" はあまり役に立ちません。この演習では、『Animal Farm』第1章からストップワードを取り除いてみます。
この演習はコースの一部です
Rで学ぶ自然言語処理入門
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)