Tokenisation : phrases

Animal Farm est un livre souvent donné aux élèves du secondaire par les enseignants d'anglais. Vous avez décidé d'explorer ce texte et de produire des statistiques sommaires pour aider les enseignants lorsqu'ils l'assignent à leurs élèves. Vous savez déjà qu'il compte 10 chapitres, et vous pouvez aussi utiliser la tokenisation pour compter le nombre de phrases, de mots et même de paragraphes. Dans cet exercice, vous utiliserez les techniques de tokenisation vues dans la vidéo pour découper Animal Farm en phrases et en faire le décompte par chapitre.

Cette activité fait partie du cours

Introduction au traitement automatique des langues en R

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Split the text_column into sentences
animal_farm %>%
  ___(output = "sentences", input = text_column, token = ___)

Modifier et exécuter le code

Cette activité fait partie du cours

Introduction au traitement automatique des langues en R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Commencer le cours gratuitement

Le chapitre 1 d'Introduction au traitement automatique des langues vous prépare à exécuter votre première analyse de texte. Vous explorerez les expressions régulières et la tokenisation, deux des composantes les plus courantes de nombreuses tâches d'analyse. Avec les expressions régulières, vous pouvez rechercher pratiquement n'importe quel motif, et avec la tokenisation, vous pouvez préparer et nettoyer le texte pour une analyse plus poussée. Ce chapitre est indispensable pour aborder les techniques que nous verrons dans les autres chapitres du cours.

Exercise 1: Principes de base des expressions régulières Exercise 2: S'exercer à la syntaxe avec grep Exercise 3: Explorer les fonctions d'expressions régulières.Exercise 4: Tokenisation Exercise 5: Fonctions de tidytext Exercise 6: Tokenisation : phrases

Exercice en cours

Exercise 7: Notions de base du nettoyage de texte Exercise 8: Prétraitement du texte : retirer les mots vides Exercise 9: Prétraitement du texte : stemming

Dans ce chapitre, vous apprendrez les façons les plus répandues et étudiées d'analyser du texte. Vous verrez comment créer un corpus, transformer une représentation en sac de mots en matrice TF‑IDF, et utiliser des mesures de similarité cosinus pour déterminer à quel point deux textes se ressemblent. Vous consoliderez vos bases pour pratiquer le NLP avant d'aborder ses applications aux chapitres 3 et 4.

Exercise 1: Comprendre un corpus R Exercise 2: Explorer un corpus R Exercise 3: Créer un tibble à partir d'un corpus Exercise 4: Créer un corpus Exercise 5: La représentation sac de mots Exercise 6: Pratique du BoW Exercise 7: Exemple BoW Exercise 8: Matrices creuses Exercise 9: Le TF‑IDF Exercise 10: Calculs manuels Exercise 11: Exercice sur le TFIDF Exercise 12: Similarité cosinus Exercise 13: Un exemple d'échec en analyse de texte Exercise 14: Exemple de similarité cosinus

Le chapitre 3 met l'accent sur deux approches courantes d'analyse de texte : la modélisation de classification et la modélisation de sujets. Si vous travaillez sur des projets d'analyse de texte, vous utiliserez inévitablement l'une ou l'autre de ces méthodes, sinon les deux. Ce chapitre vous apprend à mettre en œuvre ces techniques et offre des pistes sur la façon de les aborder de manière pratique.

Exercise 1: Préparer le texte pour la modélisation Exercise 2: Préparation des données Exercise 3: Retirer les termes clairsemés Exercise 4: Modélisation de classification Exercise 5: Exemple de modélisation de classification Exercise 6: Matrices de confusion Exercise 7: Tibble TFIDF vs dtm Exercise 8: Introduction à la modélisation thématique Exercise 9: Exercice de LDA Exercise 10: Attribuer des sujets aux documents Exercise 11: LDA en pratique Exercise 12: Mettre à l'épreuve la perplexité Exercise 13: Passer en revue les résultats LDA

Au chapitre 4, nous couvrons deux incontournables du traitement automatique des langues : l'analyse de sentiment et les plongements de mots. Ce sont deux techniques d'analyse essentielles pour toute personne qui apprend les bases de l'analyse de texte. De plus, vous verrez brièvement BERT, l'étiquetage des parties du discours et la reconnaissance d'entités nommées. Près de 15 techniques d'analyse différentes sont abordées dans ce cours; le chapitre 4 se termine donc par un survol de tout ce que vous apprendrez au fil du cours.

Exercise 1: Analyse de sentiment Exercise 2: lexiques tidytext Exercise 3: Scores de sentiment Exercise 4: Sentiment et émotions Exercise 5: Plongements de mots Exercise 6: Exercices avec h2o Exercise 7: word2vec Exercise 8: Analyses NLP supplémentaires Exercise 9: Passons en revue les méthodes no 1 Exercise 10: Révision des méthodes nº 2 Exercise 11: Conclusion