Prétraitement du texte : stemming
La racine des mots est souvent plus importante que leurs finales, surtout en analyse de texte. Le livre Animal Farm porte évidemment sur des animaux. Toutefois, savoir que le livre mentionne animal's 248 fois et animal 107 fois ne sera peut‑être pas utile pour votre analyse.
tidy_animal_farm contient un tibble des mots d'Animal Farm, déjà segmentés en jetons et sans mots vides. L'étape suivante consiste à appliquer le stemming aux mots et à explorer les résultats.
Cette activité fait partie du cours
Introduction au traitement automatique des langues en R
Instructions de l’exercice
- Utilisez
dplyretSnowballCpour appliquer le stemming aux mots detidy_animal_farm. - Affichez les anciennes fréquences de mots à partir de
tidy_animal_farm. - Affichez les nouvelles fréquences de mots à partir de
stemmed_animal_farm.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Perform stemming on tidy_animal_farm
stemmed_animal_farm <- tidy_animal_farm %>%
___(word = ___(___))
# Print the old word frequencies
___ %>%
___(word, sort = ___)
# Print the new word frequencies
___ %>%
___(word, sort = ___)