Maintenant que vous connaissez deux façons de créer un corpus, vous pouvez vous concentrer sur le nettoyage (ou prétraitement) du texte. Vous allez d’abord nettoyer un petit extrait de texte, puis passer à des corpus plus volumineux.

Dans l’approche « bag of words », le nettoyage aide à regrouper les termes. Par exemple, il peut être pertinent de considérer que « miner », « mining » et « mine » correspondent à un seul terme. Les étapes de prétraitement dépendent du projet. Les mots utilisés dans des tweets sont très différents de ceux de documents juridiques ; le processus de nettoyage peut donc l’être aussi.

Parmi les fonctions de prétraitement courantes :

tolower(): Mettre tous les caractères en minuscules
removePunctuation(): Supprimer toute la ponctuation
removeNumbers(): Supprimer les nombres
stripWhitespace(): Supprimer les espaces superflus

tolower() fait partie de R de base, tandis que les trois autres fonctions proviennent du package tm. Par la suite, nous chargerons tm et qdap pour vous lorsqu’ils seront nécessaires. À chaque nouveau package présenté, nous vous demanderons de le charger la première fois.

La variable text, qui contient une phrase, est affichée dans le script.

Comprendre TDM et DTM

Exercice interactif pratique