Preprocesarea textului: eliminarea cuvintelor de oprire
Cuvintele de oprire sunt inevitabile în orice text scris. Totuși, atunci când vrei să determini cât de similare sunt două texte sau să identifici teme în cadrul unui text, acestea pot îngreuna analiza. În cartea „Ferma Animalelor", primul capitol conține doar 2.636 de cuvinte, dintre care aproape 200 sunt cuvântul „the".
De obicei, „the" nu ne este de folos în proiectele de analiză a textului. În acest exercițiu vei elimina cuvintele de oprire din primul capitol al cărții „Ferma Animalelor".
Acest exercițiu face parte din cursul
Introducere în Prelucrarea Limbajului Natural în R
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)