Prétraitement du texte : supprimer les stop words

Les stop words sont inévitables à l’écrit. Cependant, lorsqu’il s’agit de mesurer la similarité entre deux textes ou d’identifier des thèmes, ils compliquent souvent l’analyse. Dans le livre Animal Farm, le premier chapitre ne contient que 2 636 mots, dont près de 200 sont le mot « the ».

En général, « the » n’apporte rien à un projet d’analyse de texte. Dans cet exercice, vous allez supprimer les stop words du premier chapitre d’Animal Farm.

Cet exercice fait partie du cours

<cours>Introduction au Natural Language Processing en R</cours>

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
  ___(word, ___)

Modifier et exécuter le code

Cet exercice fait partie du cours

<cours>Introduction au Natural Language Processing en R</cours>

IntermédiaireNiveau de compétence

4.8+

40 reviews

Commencer le cours gratuitement

Le chapitre 1 d’Introduction au Natural Langauge Processing vous prépare à exécuter votre première analyse de texte. Vous explorerez les expressions régulières et la tokenisation, deux composants très courants dans la plupart des tâches d’analyse. Avec les expressions régulières, vous pouvez rechercher n’importe quel motif imaginé ; avec la tokenisation, vous préparez et nettoyez le texte pour des analyses plus poussées. Ce chapitre est indispensable pour aborder les techniques que nous verrons dans le reste du cours.

Exercise 1: Bases des expressions régulières Exercise 2: S’exercer à la syntaxe avec grep Exercise 3: Explorer les fonctions d’expressions régulières.Exercise 4: Tokenisation Exercise 5: Fonctions tidytext Exercise 6: Tokenisation : phrases Exercise 7: Notions de base du nettoyage de texte Exercise 8: Prétraitement du texte : supprimer les stop words

Exercice actuel

Exercise 9: Prétraitement de texte : stemming

Dans ce chapitre, vous apprendrez les approches les plus courantes et étudiées pour analyser du texte. Vous verrez comment créer un corpus, étendre une représentation en sac de mots vers une matrice TF-IDF, et utiliser des mesures de similarité cosinus pour déterminer à quel point deux textes se ressemblent. Vous consoliderez vos bases pour pratiquer le NLP avant de plonger dans ses applications aux chapitres 3 et 4.

Exercise 1: Comprendre un corpus R Exercise 2: Explorer un corpus R Exercise 3: Créer un tibble à partir d’un corpus Exercise 4: Créer un corpus Exercise 5: La représentation sac de mots Exercise 6: S’entraîner avec BoW Exercise 7: Exemple BoW Exercise 8: Matrices creuses Exercise 9: Le TF‑IDF Exercise 10: Calculs manuels Exercise 11: Exercice sur TFIDF Exercise 12: Similarité cosinus Exercise 13: Un exemple d’échec en analyse de texte Exercise 14: Exemple de similarité cosinus

Le chapitre 3 se concentre sur deux approches classiques d’analyse de texte : la modélisation de classification et le topic modeling. Si vous travaillez sur des projets d’analyse de texte, vous utiliserez inévitablement l’une ou l’autre de ces méthodes. Ce chapitre vous apprend à mettre en œuvre ces deux techniques et vous donne des pistes pour les aborder de manière pratique.

Exercise 1: Préparer le texte pour la modélisation Exercise 2: Préparation des données Exercise 3: Suppression des termes clairsemés Exercise 4: Modélisation de classification Exercise 5: Exemple de modélisation de classification Exercise 6: Matrices de confusion Exercise 7: Tibble TFIDF vs DTM Exercise 8: Introduction au topic modeling Exercise 9: Pratique LDA Exercise 10: Attribuer des thèmes aux documents Exercise 11: LDA en pratique Exercise 12: Tester la perplexité Exercise 13: Passer en revue les résultats LDA

Au chapitre 4, nous couvrons deux incontournables du Natural Language Processing : l’analyse de sentiments et les word embeddings. Ce sont deux techniques essentielles pour toute personne qui apprend les fondamentaux de l’analyse de texte. De plus, vous découvrirez brièvement BERT, l’étiquetage morphosyntaxique (part-of-speech tagging) et la reconnaissance d’entités nommées. Près de 15 techniques d’analyse différentes sont abordées dans ce cours ; le chapitre 4 se termine donc en récapitulant toutes les excellentes méthodes que vous allez découvrir.

Exercise 1: Analyse de sentiment Exercise 2: lexiques tidytext Exercise 3: Scores de sentiment Exercise 4: Sentiment et émotions Exercise 5: Word embeddings Exercise 6: Pratique avec h2o Exercise 7: word2vec Exercise 8: Analyses NLP supplémentaires Exercise 9: Passons en revue les méthodes n°1 Exercise 10: Passons en revue les méthodes n° 2 Exercise 11: Conclusion