ÎncepețiÎncepe gratuit

Exemplu BoW

În recenziile de literatură, cercetătorii citesc și rezumă cât mai multe texte disponibile despre un subiect. Uneori ajung să citească articole duplicate sau rezumate ale unor articole pe care le-au citit deja. Ți s-au pus la dispoziție 20 de articole despre petrolul brut, stocate într-un obiect R numit crude_tibble. În loc să treci direct la citirea fiecărui articol, ai decis să vezi ce cuvinte sunt comune în aceste articole. Pentru a face acest lucru, vei începe prin a construi o reprezentare de tip bag-of-words a textului.

Acest exercițiu face parte din cursul

Introducere în Prelucrarea Limbajului Natural în R

Vezi cursul

Instrucțiuni pentru exercițiu

  • Creează o reprezentare BoW numărând cuvintele din fiecare articol, folosind coloana article_id.
  • Folosește rezultatul pentru a determina câte combinații unice articol/cuvânt au fost create.
  • Filtrează rezultatele pentru mențiunile cuvântului 'prices'.
  • În câte articole apare cuvântul prices?

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Count occurrence by article_id and word
words <- crude_tibble %>%
  unnest_tokens(output = "word", token = "words", input = text) %>%
  anti_join(stop_words) %>%
  count(___, ___, sort=TRUE)

# How many different word/article combinations are there?
unique_combinations <- nrow(___)

# Filter to responses with the word "prices"
words_with_prices <- words %>%
  ___(word == "___")

# How many articles had the word "prices"?
number_of_price_articles <- nrow(___)
Editează și rulează codul