Matrice rare
În lecția video ai învățat despre matricele rare. Acestea pot deveni adevărate coșmaruri computaționale pe măsură ce numărul documentelor text și numărul cuvintelor unice cresc. Crearea reprezentărilor de cuvinte din tweet-uri poate genera cu ușurință matrice rare, deoarece în acestea se folosesc emoji-uri, argou, acronime și alte forme de limbaj.
În acest exercițiu vei parcurge pașii necesari pentru a calcula gradul de raritate al setului de date cu tweet-uri rusești. Reține că acesta este un exemplu simplu al modului în care analiza de text poate deveni rapid o problemă computațională majoră.
Acest exercițiu face parte din cursul
Introducere în Prelucrarea Limbajului Natural în R
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Tokenize and remove stop words
tidy_tweets <- russian_tweets %>%
___(word, content) %>%
___(stop_words)
# Count by word
unique_words <- tidy_tweets %>%
count(___)