Suppression des termes clairsemés

Exécuter des modèles de classification sur des matrices clairsemées peut vite virer au cauchemar computationnel. Sans GPU ni ressources de calcul dans le cloud, vous risquez de rencontrer des problèmes de temps et de mémoire sur votre ordinateur. On vous a fourni une matrice document-terme et vous prévoyez de tester plusieurs algorithmes pour trouver le meilleur modèle de classification. Dans cet exercice, vous allez supprimer certains termes clairsemés de la matrice fournie, matrix, à différents niveaux de parcimonie.

Pour chaque niveau de parcimonie, notez le nombre de termes restants dans la matrice.

Cet exercice fait partie du cours

<cours>Introduction au Natural Language Processing en R</cours>

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

less_sparse_matrix <-
  ___(___, sparse = ___)

# Print results
matrix
less_sparse_matrix

Modifier et exécuter le code

Cet exercice fait partie du cours

<cours>Introduction au Natural Language Processing en R</cours>

IntermédiaireNiveau de compétence

4.8+

40 reviews

Commencer le cours gratuitement

Le chapitre 1 d’Introduction au Natural Langauge Processing vous prépare à exécuter votre première analyse de texte. Vous explorerez les expressions régulières et la tokenisation, deux composants très courants dans la plupart des tâches d’analyse. Avec les expressions régulières, vous pouvez rechercher n’importe quel motif imaginé ; avec la tokenisation, vous préparez et nettoyez le texte pour des analyses plus poussées. Ce chapitre est indispensable pour aborder les techniques que nous verrons dans le reste du cours.

Exercise 1: Bases des expressions régulières Exercise 2: S’exercer à la syntaxe avec grep Exercise 3: Explorer les fonctions d’expressions régulières.Exercise 4: Tokenisation Exercise 5: Fonctions tidytext Exercise 6: Tokenisation : phrases Exercise 7: Notions de base du nettoyage de texte Exercise 8: Prétraitement du texte : supprimer les stop words Exercise 9: Prétraitement de texte : stemming

Dans ce chapitre, vous apprendrez les approches les plus courantes et étudiées pour analyser du texte. Vous verrez comment créer un corpus, étendre une représentation en sac de mots vers une matrice TF-IDF, et utiliser des mesures de similarité cosinus pour déterminer à quel point deux textes se ressemblent. Vous consoliderez vos bases pour pratiquer le NLP avant de plonger dans ses applications aux chapitres 3 et 4.

Exercise 1: Comprendre un corpus R Exercise 2: Explorer un corpus R Exercise 3: Créer un tibble à partir d’un corpus Exercise 4: Créer un corpus Exercise 5: La représentation sac de mots Exercise 6: S’entraîner avec BoW Exercise 7: Exemple BoW Exercise 8: Matrices creuses Exercise 9: Le TF‑IDF Exercise 10: Calculs manuels Exercise 11: Exercice sur TFIDF Exercise 12: Similarité cosinus Exercise 13: Un exemple d’échec en analyse de texte Exercise 14: Exemple de similarité cosinus

Le chapitre 3 se concentre sur deux approches classiques d’analyse de texte : la modélisation de classification et le topic modeling. Si vous travaillez sur des projets d’analyse de texte, vous utiliserez inévitablement l’une ou l’autre de ces méthodes. Ce chapitre vous apprend à mettre en œuvre ces deux techniques et vous donne des pistes pour les aborder de manière pratique.

Exercise 1: Préparer le texte pour la modélisation Exercise 2: Préparation des données Exercise 3: Suppression des termes clairsemés

Exercice actuel

Exercise 4: Modélisation de classification Exercise 5: Exemple de modélisation de classification Exercise 6: Matrices de confusion Exercise 7: Tibble TFIDF vs DTM Exercise 8: Introduction au topic modeling Exercise 9: Pratique LDA Exercise 10: Attribuer des thèmes aux documents Exercise 11: LDA en pratique Exercise 12: Tester la perplexité Exercise 13: Passer en revue les résultats LDA

Au chapitre 4, nous couvrons deux incontournables du Natural Language Processing : l’analyse de sentiments et les word embeddings. Ce sont deux techniques essentielles pour toute personne qui apprend les fondamentaux de l’analyse de texte. De plus, vous découvrirez brièvement BERT, l’étiquetage morphosyntaxique (part-of-speech tagging) et la reconnaissance d’entités nommées. Près de 15 techniques d’analyse différentes sont abordées dans ce cours ; le chapitre 4 se termine donc en récapitulant toutes les excellentes méthodes que vous allez découvrir.

Exercise 1: Analyse de sentiment Exercise 2: lexiques tidytext Exercise 3: Scores de sentiment Exercise 4: Sentiment et émotions Exercise 5: Word embeddings Exercise 6: Pratique avec h2o Exercise 7: word2vec Exercise 8: Analyses NLP supplémentaires Exercise 9: Passons en revue les méthodes n°1 Exercise 10: Passons en revue les méthodes n° 2 Exercise 11: Conclusion