ストップワードとワードクラウド
テキストマイニングの発想に切り替えて、シャルドネ片手に腰を落ち着けたところで、もう少し深掘りしていきます。直前のワードクラウドでは、"chardonnay" が可視化を支配していました。強すぎて、ほかの興味深い示唆が読み取れませんでした。
そこで、ストップワードに "chardonnay" を追加して、他にどんな単語がよく使われているのか、もともと埋もれていた語を見てみましょう。
ワークスペースにはクリーン済みのシャルドネ関連ツイートがありますが、ここでは意味の薄い語をさらに取り除きます。この演習では、比較用に特定のツイートを表示するために content() を使います。コーパスのリストをインデックスするときは、二重角かっこを使うのを忘れないでください。
この演習はコースの一部です
Rで学ぶBag-of-Wordsによるテキストマイニング
演習の手順
chardonnay_corpの24番目のドキュメントにcontent()を適用します。- 英語のストップワードに
"chardonnay"を追加し、stopsに代入します。 stopsの末尾6語を確認します。tm_map()を使って、chardonnay_corp、関数removeWords()、そしてストップワードstopsをこの順に渡し、cleaned_chardonnay_corpを作成します。- 結果を比較するために、もう一度
24番目のツイートのcontentを確認します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Review a "cleaned" tweet
___(___)
# Add to stopwords
stops <- c(stopwords(kind = 'en'), '___')
# Review last 6 stopwords
tail(stops)
# Apply to a corpus
cleaned_chardonnay_corp <- ___(chardonnay_corp, ___, ___)
# Review a "cleaned" tweet again
content(cleaned_chardonnay_corp[[24]])