Prétraitement du texte : retirer les mots vides
Les mots vides sont inévitables dans l'écriture. Or, lorsqu'on veut mesurer la similarité entre deux textes ou dégager des thèmes, ces mots peuvent compliquer l'analyse. Dans le roman Animal Farm, le premier chapitre ne compte que 2 636 mots, et pourtant près de 200 d'entre eux sont le mot « the ».
En général, « the » n'apporte pas grand-chose à nos projets d'analyse de texte. Dans cet exercice, vous allez retirer les mots vides du premier chapitre d'Animal Farm.
Cette activité fait partie du cours
Introduction au traitement automatique des langues en R
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)