Preprocesamiento de texto: eliminar stop words
Las stop words son inevitables al escribir. Sin embargo, cuando quieres medir cuán similares son dos textos entre sí o intentar encontrar temas dentro de un texto, las stop words pueden complicarlo. En el libro Animal Farm, el primer capítulo contiene solo 2.636 palabras, y casi 200 de ellas son la palabra "the".
Por lo general, "the" no nos aporta mucho en proyectos de análisis de texto. En este ejercicio eliminarás las stop words del primer capítulo de Animal Farm.
Este ejercicio forma parte del curso
Introducción al procesamiento del lenguaje natural en R
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)