BoW の例
文献レビューでは、研究者は特定のテーマについて入手可能なテキストをできるだけ多く読み、要約します。その過程で、同じ記事を重複して読んだり、すでに読んだ記事の要約を読んでしまうこともあります。ここでは、原油に関する20本の記事が、Rオブジェクト crude_tibble として与えられています。いきなり記事を1本ずつ読むのではなく、まずはこれらの記事に共通して現れる単語を確認することにしました。そのために、テキストの bag-of-words 表現を作るところから始めます。
この演習はコースの一部です
Rで学ぶ自然言語処理入門
演習の手順
- 列
article_idを使って、記事ごとに単語数を数え、BoW 表現を作成してください。 - 出力を使って、作成された記事／単語の一意な組み合わせがいくつあるかを確認してください。
- 結果を
'prices'の出現に絞り込んでください。 - 単語
pricesを含む記事はいくつありますか？
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Count occurrence by article_id and word
words <- crude_tibble %>%
unnest_tokens(output = "word", token = "words", input = text) %>%
anti_join(stop_words) %>%
count(___, ___, sort=TRUE)
# How many different word/article combinations are there?
unique_combinations <- nrow(___)
# Filter to responses with the word "prices"
words_with_prices <- words %>%
___(word == "___")
# How many articles had the word "prices"?
number_of_price_articles <- nrow(___)