Construire le vocabulaire à partir des avis des clients

Vous faites partie de l'équipe d'analytique produit chez TechZone, une entreprise d'électronique grand public. Vous avez reçu un petit lot d'avis de clients pour un nouveau gadget. Pour analyser ces avis, vous allez d'abord prétraiter le texte et construire un vocabulaire, c'est‑à‑dire une liste de mots uniques qui définit les caractéristiques utilisées pour représenter chaque avis sous forme de données numériques.

Une fonction preprocess() est déjà chargée pour vous. Elle met le texte en minuscules, le segmente en jetons (tokenisation) et retire la ponctuation.

Cette activité fait partie du cours

Natural Language Processing (NLP) en Python

Instructions de l’exercice

Prétraitez chaque avis du jeu de données à l'aide de la fonction preprocess().
Ajustez le vectorizer sur les avis prétraités.
Affichez le vocabulaire obtenu.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

reviews = [
    "The product is fantastic! It works like a charm.",
    "I hated the product. It broke after one use.",
    "Product was okay, not the best, but fine overall."
]
# Preprocess the reviews
cleaned_reviews = [____ for ____ in ____]

vectorizer = CountVectorizer()
# Fit the vectorizer
vectorizer.____
# Print the vocabulary 
print(vectorizer.____)

Modifier et exécuter le code

Cette activité fait partie du cours

Natural Language Processing (NLP) en Python

SkillTag.level.intermediateSkillTag.label

4.9+

Commencer le cours gratuitement

Apprenez l'essentiel du traitement de texte en Natural Language Processing (NLP). Maîtrisez des techniques comme la segmentation en jetons, la suppression des mots vides et de la ponctuation, ainsi que la normalisation du texte avec la mise en minuscules, le racinage (stemming) et la lemmatisation pour préparer les données textuelles à l'analyse et à l'extraction d'information.

Exercise 1: Introduction au traitement automatique du langage naturel Exercise 2: Tokenisation des phrases et des mots Exercise 3: Flux de travail en NLP Exercise 4: Gestion des mots vides et de la ponctuation Exercise 5: Retirer les mots vides Exercise 6: Retirer la ponctuation Exercise 7: Techniques de normalisation du texte Exercise 8: Mise en minuscules Exercise 9: Stemming Exercise 10: Lemmatisation

Transformez du texte brut en caractéristiques numériques puissantes. Créez des représentations en sac de mots (Bag-of-Words) et en TF-IDF pour mesurer l'importance des mots à travers les documents, puis explorez des embeddings comme Word2Vec et GloVe pour révéler des relations sémantiques profondes. Visualisez la fréquence, la pertinence et la similarité pour donner vie à vos données textuelles.

Exercise 1: Représentation sac de mots Exercise 2: Construire le vocabulaire à partir des avis des clients

Exercice en cours

Exercise 3: Transformer du texte en nombres avec BoW Exercise 4: Analyse de la fréquence des évaluations de produits Exercise 5: Visualiser les fréquences des mots Exercise 6: Vectorisation TF-IDF Exercise 7: Représentation TF-IDF des commentaires sur les produits Exercise 8: Comparer les représentations BoW et TF-IDF Exercise 9: Embeddings Exercise 10: Explorer les relations entre les mots avec des embeddings Exercise 11: Visualiser et comparer des plongements de mots

Exploitez la puissance des modèles préentraînés pour réaliser des tâches avancées de classification de texte. Utilisez les pipelines Hugging Face pour l'analyse des sentiments, la classification thématique et l'inférence en langue naturelle. Évaluez la similarité sémantique et la correction grammaticale avec des modèles de pointe, le tout sans repartir de zéro.

Exercise 1: Pipelines Hugging Face pour l'analyse des sentiments Exercise 2: Analyser le sentiment d'un avis Exercise 3: Classer plusieurs avis en lot Exercise 4: Comparer des modèles sur des données d'évaluations étiquetées Exercise 5: Classification zéro donnée et QNLI Exercise 6: Classification zero-shot des billets de soutien Exercise 7: Le texte répond-il à la question ?Exercise 8: Similarité des questions et acceptabilité grammaticale Exercise 9: Détecter les questions en double Exercise 10: Vérifier la correction grammaticale

Plongez au cœur des applications modernes du NLP avec la classification de jetons et les techniques de génération de texte. Apprenez à extraire des entités et des structures grammaticales pertinentes grâce à la reconnaissance d'entités nommées (NER) et à l'étiquetage PoS. Maîtrisez les approches de question-réponse extractive et abstractive, et explorez des tâches avancées de génération, dont le résumé automatique, la traduction et la modélisation de langue, en utilisant les pipelines Hugging Face.

Exercise 1: Classification de jetons Exercise 2: Identifier les entités nommées dans des titres de nouvelles Exercise 3: Étiquetage des parties du discours pour l'analyse de texte Exercise 4: Répondre aux questions Exercise 5: Répondre aux questions à partir des descriptions de produits Exercise 6: Générer des réponses naturelles avec la QA abstractive Exercise 7: Tâches de génération de séquences Exercise 8: Résumer des articles de presse pour aller à l'essentiel Exercise 9: Traduire les avis des clients en français Exercise 10: Créer un système de saisie semi-automatique pour la recherche Exercise 11: Félicitations