BoW-voorbeeld
Bij literatuuronderzoek lezen en vatten onderzoekers zoveel mogelijk beschikbare teksten over een onderwerp samen. Soms lezen ze per ongeluk dubbele artikelen of samenvattingen van artikelen die ze al kennen. Jij hebt 20 artikelen over ruwe olie gekregen als een R-object met de naam crude_tibble. In plaats van meteen elk artikel te gaan lezen, wil je eerst kijken welke woorden deze artikelen gemeen hebben. Daarom begin je met het bouwen van een bag-of-words-representatie van de tekst.
Deze oefening maakt deel uit van de cursus
Introductie tot Natural Language Processing in R
Oefeninstructies
- Maak een BoW-representatie door het aantal woorden per artikel te tellen met de kolom
article_id. - Gebruik de output om te bepalen hoeveel unieke artikel/woord-combinaties er zijn gemaakt.
- Filter de resultaten op vermeldingen van
'prices'. - In hoeveel artikelen komt het woord
pricesvoor?
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Count occurrence by article_id and word
words <- crude_tibble %>%
unnest_tokens(output = "word", token = "words", input = text) %>%
anti_join(stop_words) %>%
count(___, ___, sort=TRUE)
# How many different word/article combinations are there?
unique_combinations <- nrow(___)
# Filter to responses with the word "prices"
words_with_prices <- words %>%
___(word == "___")
# How many articles had the word "prices"?
number_of_price_articles <- nrow(___)