Tokenisation des phrases et des mots

La tokenisation est une première étape essentielle en NLP. Elle consiste à découper le texte en unités plus petites appelées jetons (tokens), ce qui est crucial pour travailler avec des données linguistiques. Votre tâche consiste à tokeniser un extrait d'article de presse à la fois en phrases et en mots.

Cette activité fait partie du cours

Natural Language Processing (NLP) en Python

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import nltk
____
# Download the punkt_tab package 
____

text = """
The stock market saw a significant dip today. Experts believe the downturn may continue.
However, many investors are optimistic about future growth.
"""

# Tokenize the text into sentences
sentences = ____
print(sentences)

Modifier et exécuter le code

Cette activité fait partie du cours

Natural Language Processing (NLP) en Python

SkillTag.level.intermediateSkillTag.label

4.9+

769 reviews

Commencer le cours gratuitement

Apprenez l'essentiel du traitement de texte en Natural Language Processing (NLP). Maîtrisez des techniques comme la segmentation en jetons, la suppression des mots vides et de la ponctuation, ainsi que la normalisation du texte avec la mise en minuscules, le racinage (stemming) et la lemmatisation pour préparer les données textuelles à l'analyse et à l'extraction d'information.

Exercise 1: Introduction au traitement automatique du langage naturel Exercise 2: Tokenisation des phrases et des mots

Exercice en cours

Exercise 3: Flux de travail en NLP Exercise 4: Gestion des mots vides et de la ponctuation Exercise 5: Retirer les mots vides Exercise 6: Retirer la ponctuation Exercise 7: Techniques de normalisation du texte Exercise 8: Mise en minuscules Exercise 9: Stemming Exercise 10: Lemmatisation

Transformez du texte brut en caractéristiques numériques puissantes. Créez des représentations en sac de mots (Bag-of-Words) et en TF-IDF pour mesurer l'importance des mots à travers les documents, puis explorez des embeddings comme Word2Vec et GloVe pour révéler des relations sémantiques profondes. Visualisez la fréquence, la pertinence et la similarité pour donner vie à vos données textuelles.

Exercise 1: Représentation sac de mots Exercise 2: Construire le vocabulaire à partir des avis des clients Exercise 3: Transformer du texte en nombres avec BoW Exercise 4: Analyse de la fréquence des évaluations de produits Exercise 5: Visualiser les fréquences des mots Exercise 6: Vectorisation TF-IDF Exercise 7: Représentation TF-IDF des commentaires sur les produits Exercise 8: Comparer les représentations BoW et TF-IDF Exercise 9: Embeddings Exercise 10: Explorer les relations entre les mots avec des embeddings Exercise 11: Visualiser et comparer des plongements de mots

Exploitez la puissance des modèles préentraînés pour réaliser des tâches avancées de classification de texte. Utilisez les pipelines Hugging Face pour l'analyse des sentiments, la classification thématique et l'inférence en langue naturelle. Évaluez la similarité sémantique et la correction grammaticale avec des modèles de pointe, le tout sans repartir de zéro.

Exercise 1: Pipelines Hugging Face pour l'analyse des sentiments Exercise 2: Analyser le sentiment d'un avis Exercise 3: Classer plusieurs avis en lot Exercise 4: Comparer des modèles sur des données d'évaluations étiquetées Exercise 5: Classification zéro donnée et QNLI Exercise 6: Classification zero-shot des billets de soutien Exercise 7: Le texte répond-il à la question ?Exercise 8: Similarité des questions et acceptabilité grammaticale Exercise 9: Détecter les questions en double Exercise 10: Vérifier la correction grammaticale

Plongez au cœur des applications modernes du NLP avec la classification de jetons et les techniques de génération de texte. Apprenez à extraire des entités et des structures grammaticales pertinentes grâce à la reconnaissance d'entités nommées (NER) et à l'étiquetage PoS. Maîtrisez les approches de question-réponse extractive et abstractive, et explorez des tâches avancées de génération, dont le résumé automatique, la traduction et la modélisation de langue, en utilisant les pipelines Hugging Face.

Exercise 1: Classification de jetons Exercise 2: Identifier les entités nommées dans des titres de nouvelles Exercise 3: Étiquetage des parties du discours pour l'analyse de texte Exercise 4: Répondre aux questions Exercise 5: Répondre aux questions à partir des descriptions de produits Exercise 6: Générer des réponses naturelles avec la QA abstractive Exercise 7: Tâches de génération de séquences Exercise 8: Résumer des articles de presse pour aller à l'essentiel Exercise 9: Traduire les avis des clients en français Exercise 10: Créer un système de saisie semi-automatique pour la recherche Exercise 11: Félicitations