Kom igångKom igång gratis

Textförbehandling: Stemming

Ordets grundform är ofta viktigare än dess ändelse, särskilt vid textanalys. Boken Djurfarmen handlar uppenbarligen om djur. Det kanske däremot inte är så användbart för din analys att veta att boken nämner animal's 248 gånger och animal 107 gånger.

tidy_animal_farm innehåller en tibble med ord från Djurfarmen, tokeniserade och utan stoppord. Nästa steg är att stemma orden och utforska resultaten.

Den här övningen är en del av kursen

Introduktion till naturlig språkbehandling i R

Visa kurs

Övningsinstruktioner

  • Använd dplyr och SnowballC för att stemma orden från tidy_animal_farm.
  • Skriv ut de gamla ordfrekvenserna från tidy_animal_farm.
  • Skriv ut de nya ordfrekvenserna från stemmed_animal_farm.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Perform stemming on tidy_animal_farm
stemmed_animal_farm <- tidy_animal_farm %>%
  ___(word = ___(___))

# Print the old word frequencies 
___ %>%
  ___(word, sort = ___)

# Print the new word frequencies
___ %>%
  ___(word, sort = ___)
Redigera och kör kod