CommencerCommencez gratuitement

Prétraitement de texte : stemming

La racine des mots est souvent plus importante que leurs terminaisons, surtout en analyse de texte. Le livre Animal Farm parle évidemment d’animaux. Cependant, savoir que le livre mentionne animal's 248 fois et animal 107 fois n’est peut‑être pas très utile pour votre analyse.

tidy_animal_farm contient un tibble des mots d’Animal Farm, tokenisés et sans mots vides. L’étape suivante consiste à appliquer le stemming aux mots et à explorer les résultats.

Cet exercice fait partie du cours

<cours>Introduction au Natural Language Processing en R</cours>
Voir le cours

Instructions de l’exercice

  • Utilisez dplyr et SnowballC pour appliquer le stemming aux mots de tidy_animal_farm.
  • Affichez les fréquences des anciens mots à partir de tidy_animal_farm.
  • Affichez les fréquences des nouveaux mots à partir de stemmed_animal_farm.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Perform stemming on tidy_animal_farm
stemmed_animal_farm <- tidy_animal_farm %>%
  ___(word = ___(___))

# Print the old word frequencies 
___ %>%
  ___(word, sort = ___)

# Print the new word frequencies
___ %>%
  ___(word, sort = ___)
Modifier et exécuter le code