コーパスから tibble を作成する
同僚から受け取った原油データのコーパスをさらに調べるために、文書に含まれるテキストをクリーンアップするためのパイプラインを作成することにしました。tm パッケージでのやり方を探る代わりに、コーパスを tibble に変換し、すでに使い慣れている unnest_tokens()、count()、anti_join() を使えるようにします。コーパス crude には、各文書のメタデータとテキストの両方が含まれています。
この演習はコースの一部です
Rで学ぶ自然言語処理入門
演習の手順
- コーパスを tibble に変換します。
namesを使って列名を表示します。crude_tibbleのtext列に対して、単語単位でトークン化し、カウントし、ストップワードを除去します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create a tibble & Review
crude_tibble <- ___(crude)
___(crude_tibble)
crude_counts <- crude_tibble %>%
# Tokenize by word
___(___, text) %>%
# Count by word
___(word, sort = TRUE) %>%
# Remove stop words
___(stop_words)