Tibble TFIDF vs DTM

TFIDF peut être utilisé pour la similarité de documents, la classification de texte et d’autres tâches. Considérez le tibble left_right_tfidf et la matrice document-termes left_right_matrix. Les deux ont été chargés dans la console.

Laquelle des affirmations suivantes est vraie ?

A : Le tibble contient une ligne par document et une colonne pour chaque mot utilisé dans l’ensemble du texte.
B : Le tibble contient les décomptes de mots, tf, idf et les poids tfidf pour chaque mot dans chaque document.
C : Le tibble et la matrice ont le même nombre de lignes.
D : Les colonnes de la matrice document-termes peuvent être utilisées dans des modèles de classification.

Cet exercice fait partie du cours

<cours>Introduction au Natural Language Processing en R</cours>

Voir le cours

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

<cours>Introduction au Natural Language Processing en R</cours>

IntermédiaireNiveau de compétence

4.8+

40 reviews

Commencer le cours gratuitement

Le chapitre 1 d’Introduction au Natural Langauge Processing vous prépare à exécuter votre première analyse de texte. Vous explorerez les expressions régulières et la tokenisation, deux composants très courants dans la plupart des tâches d’analyse. Avec les expressions régulières, vous pouvez rechercher n’importe quel motif imaginé ; avec la tokenisation, vous préparez et nettoyez le texte pour des analyses plus poussées. Ce chapitre est indispensable pour aborder les techniques que nous verrons dans le reste du cours.

Exercise 1: Bases des expressions régulières Exercise 2: S’exercer à la syntaxe avec grep Exercise 3: Explorer les fonctions d’expressions régulières.Exercise 4: Tokenisation Exercise 5: Fonctions tidytext Exercise 6: Tokenisation : phrases Exercise 7: Notions de base du nettoyage de texte Exercise 8: Prétraitement du texte : supprimer les stop words Exercise 9: Prétraitement de texte : stemming

Dans ce chapitre, vous apprendrez les approches les plus courantes et étudiées pour analyser du texte. Vous verrez comment créer un corpus, étendre une représentation en sac de mots vers une matrice TF-IDF, et utiliser des mesures de similarité cosinus pour déterminer à quel point deux textes se ressemblent. Vous consoliderez vos bases pour pratiquer le NLP avant de plonger dans ses applications aux chapitres 3 et 4.

Exercise 1: Comprendre un corpus R Exercise 2: Explorer un corpus R Exercise 3: Créer un tibble à partir d’un corpus Exercise 4: Créer un corpus Exercise 5: La représentation sac de mots Exercise 6: S’entraîner avec BoW Exercise 7: Exemple BoW Exercise 8: Matrices creuses Exercise 9: Le TF‑IDF Exercise 10: Calculs manuels Exercise 11: Exercice sur TFIDF Exercise 12: Similarité cosinus Exercise 13: Un exemple d’échec en analyse de texte Exercise 14: Exemple de similarité cosinus

Le chapitre 3 se concentre sur deux approches classiques d’analyse de texte : la modélisation de classification et le topic modeling. Si vous travaillez sur des projets d’analyse de texte, vous utiliserez inévitablement l’une ou l’autre de ces méthodes. Ce chapitre vous apprend à mettre en œuvre ces deux techniques et vous donne des pistes pour les aborder de manière pratique.

Exercise 1: Préparer le texte pour la modélisation Exercise 2: Préparation des données Exercise 3: Suppression des termes clairsemés Exercise 4: Modélisation de classification Exercise 5: Exemple de modélisation de classification Exercise 6: Matrices de confusion Exercise 7: Tibble TFIDF vs DTM

Exercice actuel

Exercise 8: Introduction au topic modeling Exercise 9: Pratique LDA Exercise 10: Attribuer des thèmes aux documents Exercise 11: LDA en pratique Exercise 12: Tester la perplexité Exercise 13: Passer en revue les résultats LDA

Au chapitre 4, nous couvrons deux incontournables du Natural Language Processing : l’analyse de sentiments et les word embeddings. Ce sont deux techniques essentielles pour toute personne qui apprend les fondamentaux de l’analyse de texte. De plus, vous découvrirez brièvement BERT, l’étiquetage morphosyntaxique (part-of-speech tagging) et la reconnaissance d’entités nommées. Près de 15 techniques d’analyse différentes sont abordées dans ce cours ; le chapitre 4 se termine donc en récapitulant toutes les excellentes méthodes que vous allez découvrir.

Exercise 1: Analyse de sentiment Exercise 2: lexiques tidytext Exercise 3: Scores de sentiment Exercise 4: Sentiment et émotions Exercise 5: Word embeddings Exercise 6: Pratique avec h2o Exercise 7: word2vec Exercise 8: Analyses NLP supplémentaires Exercise 9: Passons en revue les méthodes n°1 Exercise 10: Passons en revue les méthodes n° 2 Exercise 11: Conclusion