Przetwarzanie tekstu: usuwanie stop słów
Stop słowa są nieodłącznym elementem każdego tekstu. Jednak gdy chcemy określić, jak podobne są do siebie dwa fragmenty tekstu lub znaleźć w nim przewodnie tematy, stop słowa mogą utrudniać analizę. W pierwszym rozdziale książki Folwark Zwierzęcy znajduje się zaledwie 2636 słów, a prawie 200 z nich to słowo "the".
Z reguły „the" nie wnosi niczego wartościowego do projektów analizy tekstu. W tym ćwiczeniu usuniesz stop słowa z pierwszego rozdziału Folwarku Zwierzęcego.
To ćwiczenie jest częścią kursu
Wprowadzenie do przetwarzania języka naturalnego w R
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)