Tokenisation : phrases

Animal Farm est un livre souvent donné par les professeurs d’anglais au collège. Vous avez décidé d’explorer le texte et de fournir des statistiques descriptives que les enseignants pourront utiliser lorsqu’ils attribueront ce livre à leurs élèves. Vous savez déjà qu’il comporte 10 chapitres, mais vous savez aussi que la tokenisation peut vous aider à compter le nombre de phrases, de mots, et même de paragraphes. Dans cet exercice, vous allez utiliser les techniques de tokenisation vues dans la vidéo pour découper Animal Farm en phrases et les compter par chapitre.

Cet exercice fait partie du cours

<cours>Introduction au Natural Language Processing en R</cours>

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Split the text_column into sentences
animal_farm %>%
  ___(output = "sentences", input = text_column, token = ___)

Modifier et exécuter le code

Cet exercice fait partie du cours

<cours>Introduction au Natural Language Processing en R</cours>

IntermédiaireNiveau de compétence

4.8+

40 reviews

Commencer le cours gratuitement

Le chapitre 1 d’Introduction au Natural Langauge Processing vous prépare à exécuter votre première analyse de texte. Vous explorerez les expressions régulières et la tokenisation, deux composants très courants dans la plupart des tâches d’analyse. Avec les expressions régulières, vous pouvez rechercher n’importe quel motif imaginé ; avec la tokenisation, vous préparez et nettoyez le texte pour des analyses plus poussées. Ce chapitre est indispensable pour aborder les techniques que nous verrons dans le reste du cours.

Exercise 1: Bases des expressions régulières Exercise 2: S’exercer à la syntaxe avec grep Exercise 3: Explorer les fonctions d’expressions régulières.Exercise 4: Tokenisation Exercise 5: Fonctions tidytext Exercise 6: Tokenisation : phrases

Exercice actuel

Exercise 7: Notions de base du nettoyage de texte Exercise 8: Prétraitement du texte : supprimer les stop words Exercise 9: Prétraitement de texte : stemming

Dans ce chapitre, vous apprendrez les approches les plus courantes et étudiées pour analyser du texte. Vous verrez comment créer un corpus, étendre une représentation en sac de mots vers une matrice TF-IDF, et utiliser des mesures de similarité cosinus pour déterminer à quel point deux textes se ressemblent. Vous consoliderez vos bases pour pratiquer le NLP avant de plonger dans ses applications aux chapitres 3 et 4.

Exercise 1: Comprendre un corpus R Exercise 2: Explorer un corpus R Exercise 3: Créer un tibble à partir d’un corpus Exercise 4: Créer un corpus Exercise 5: La représentation sac de mots Exercise 6: S’entraîner avec BoW Exercise 7: Exemple BoW Exercise 8: Matrices creuses Exercise 9: Le TF‑IDF Exercise 10: Calculs manuels Exercise 11: Exercice sur TFIDF Exercise 12: Similarité cosinus Exercise 13: Un exemple d’échec en analyse de texte Exercise 14: Exemple de similarité cosinus

Le chapitre 3 se concentre sur deux approches classiques d’analyse de texte : la modélisation de classification et le topic modeling. Si vous travaillez sur des projets d’analyse de texte, vous utiliserez inévitablement l’une ou l’autre de ces méthodes. Ce chapitre vous apprend à mettre en œuvre ces deux techniques et vous donne des pistes pour les aborder de manière pratique.

Exercise 1: Préparer le texte pour la modélisation Exercise 2: Préparation des données Exercise 3: Suppression des termes clairsemés Exercise 4: Modélisation de classification Exercise 5: Exemple de modélisation de classification Exercise 6: Matrices de confusion Exercise 7: Tibble TFIDF vs DTM Exercise 8: Introduction au topic modeling Exercise 9: Pratique LDA Exercise 10: Attribuer des thèmes aux documents Exercise 11: LDA en pratique Exercise 12: Tester la perplexité Exercise 13: Passer en revue les résultats LDA

Au chapitre 4, nous couvrons deux incontournables du Natural Language Processing : l’analyse de sentiments et les word embeddings. Ce sont deux techniques essentielles pour toute personne qui apprend les fondamentaux de l’analyse de texte. De plus, vous découvrirez brièvement BERT, l’étiquetage morphosyntaxique (part-of-speech tagging) et la reconnaissance d’entités nommées. Près de 15 techniques d’analyse différentes sont abordées dans ce cours ; le chapitre 4 se termine donc en récapitulant toutes les excellentes méthodes que vous allez découvrir.

Exercise 1: Analyse de sentiment Exercise 2: lexiques tidytext Exercise 3: Scores de sentiment Exercise 4: Sentiment et émotions Exercise 5: Word embeddings Exercise 6: Pratique avec h2o Exercise 7: word2vec Exercise 8: Analyses NLP supplémentaires Exercise 9: Passons en revue les méthodes n°1 Exercise 10: Passons en revue les méthodes n° 2 Exercise 11: Conclusion