Maintenant que vous connaissez deux façons de créer un corpus, vous pouvez vous concentrer sur le nettoyage, ou le prétraitement, du texte. Vous commencerez par nettoyer un petit extrait de texte, puis vous passerez à des corpus plus grands.

Dans l'exploration de textes avec bag of words, le nettoyage aide à regrouper les termes. Par exemple, il peut être logique de considérer que « miner », « mining » et « mine » correspondent à un seul terme. Les étapes de prétraitement spécifiques varient selon le projet. Par exemple, les mots employés dans des tweets sont très différents de ceux des documents juridiques; le processus de nettoyage peut donc aussi être très différent.

Parmi les fonctions de prétraitement courantes, on retrouve :

tolower(): Mettre tous les caractères en minuscules
removePunctuation(): Retirer tous les signes de ponctuation
removeNumbers(): Retirer les nombres
stripWhitespace(): Retirer les espaces superflus

tolower() fait partie de R de base, tandis que les trois autres fonctions proviennent du paquet tm. Pour la suite, nous chargerons tm et qdap pour vous lorsqu'ils seront nécessaires. Chaque fois que nous présenterons un nouveau paquet, vous le chargerez vous-même la première fois.

La variable text, qui contient une phrase, est affichée dans le script.

Comprendre la TDM et la DTM

Extraction de texte avec sac de mots en R

Exercice interactif pratique