Předzpracování textu: odstranění stop slov
Stop slovům se v psaném textu nevyhneme. Pokud ale chceš zjistit, jak jsou si dva texty podobné, nebo hledáš v textu určitá témata, stop slova ti to mohou výrazně ztížit. V první kapitole knihy Farma zvířat se vyskytuje celkem 2 636 slov, přičemž téměř 200 z nich je slovo "the".
Pro textovou analýzu nám takové slovo zpravidla nic nedá. V tomto cvičení stop slova z první kapitoly Farmy zvířat odstraníš.
Toto cvičení je součástí kurzu
Úvod do zpracování přirozeného jazyka v R
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)