Začněte nyníZačněte zdarma

Příklad BoW

Při přehledech literatury výzkumníci čtou a shrnují co nejvíce dostupných textů k danému tématu. Někdy přitom narazí na duplicitní články nebo na shrnutí textů, které už četli. K dispozici máš 20 článků o ropě jako R objekt s názvem crude_tibble. Místo toho, abys rovnou začal/a každý článek číst, rozhodl/a ses nejdříve zjistit, která slova se napříč těmito články opakují. Proto začneš tím, že z textu vytvoříš reprezentaci bag-of-words.

Toto cvičení je součástí kurzu

Úvod do zpracování přirozeného jazyka v R

Zobrazit kurz

Pokyny k cvičení

  • Vytvoř reprezentaci BoW tak, že spočítáš počet slov v každém článku podle sloupce article_id.
  • Z výstupu zjisti, kolik jedinečných kombinací článek/slovo bylo vytvořeno.
  • Filtruj výsledky na zmínky o 'prices'.
  • V kolika článcích se slovo prices vyskytuje?

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Count occurrence by article_id and word
words <- crude_tibble %>%
  unnest_tokens(output = "word", token = "words", input = text) %>%
  anti_join(stop_words) %>%
  count(___, ___, sort=TRUE)

# How many different word/article combinations are there?
unique_combinations <- nrow(___)

# Filter to responses with the word "prices"
words_with_prices <- words %>%
  ___(word == "___")

# How many articles had the word "prices"?
number_of_price_articles <- nrow(___)
Upravit a spustit kód