Textförbehandling: ta bort stoppord
Stoppord är oundvikliga i skrivet språk. Men när du vill avgöra hur lika två texter är varandra, eller när du försöker hitta teman i en text, kan stoppord ställa till problem. I boken Djurfarmen innehåller det första kapitlet bara 2 636 ord, varav nästan 200 av dem är ordet "the".
Vanligtvis hjälper inte "the" oss i textanalys. I den här övningen tar du bort stopporden från det första kapitlet i Djurfarmen.
Den här övningen är en del av kursen
Introduktion till naturlig språkbehandling i R
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)