Analyse de la fréquence des évaluations de produits

Vous avez maintenant accès à un jeu de données plus volumineux d'évaluations de produits TechZone. Comme précédemment, vous avez prétraité les évaluations et les avez transformées en une représentation Sac de mots (BoW) X. Votre tâche est maintenant d'analyser les fréquences des mots et d'identifier les termes les plus courants dans le jeu de données.

Pour vous aider dans l'analyse, une fonction utilitaire appelée get_top_ten() est fournie. Elle reçoit une liste de mots et leurs dénombrements correspondants, et retourne les 10 mots les plus fréquents ainsi que leurs fréquences.

Cette activité fait partie du cours

Natural Language Processing (NLP) en Python

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

def preprocess(text):
    text = text.lower()
    tokens = word_tokenize(text)
    tokens = [word for word in tokens if word not in string.punctuation]
    return " ".join(tokens)
  
cleaned_reviews = [preprocess(review) for review in product_reviews]
X = vectorizer.fit_transform(cleaned_reviews)

# Get word counts
word_counts = np.____(X.____, axis=0)
# Get words
words = vectorizer.____

top_words_with_stopwords, top_counts_with_stopwords = get_top_ten(words, word_counts)
print(top_words_with_stopwords, top_counts_with_stopwords)

Modifier et exécuter le code

Cette activité fait partie du cours

Natural Language Processing (NLP) en Python

SkillTag.level.intermediateSkillTag.label

4.9+

Commencer le cours gratuitement

Apprenez l'essentiel du traitement de texte en Natural Language Processing (NLP). Maîtrisez des techniques comme la segmentation en jetons, la suppression des mots vides et de la ponctuation, ainsi que la normalisation du texte avec la mise en minuscules, le racinage (stemming) et la lemmatisation pour préparer les données textuelles à l'analyse et à l'extraction d'information.

Exercise 1: Introduction au traitement automatique du langage naturel Exercise 2: Tokenisation des phrases et des mots Exercise 3: Flux de travail en NLP Exercise 4: Gestion des mots vides et de la ponctuation Exercise 5: Retirer les mots vides Exercise 6: Retirer la ponctuation Exercise 7: Techniques de normalisation du texte Exercise 8: Mise en minuscules Exercise 9: Stemming Exercise 10: Lemmatisation

Transformez du texte brut en caractéristiques numériques puissantes. Créez des représentations en sac de mots (Bag-of-Words) et en TF-IDF pour mesurer l'importance des mots à travers les documents, puis explorez des embeddings comme Word2Vec et GloVe pour révéler des relations sémantiques profondes. Visualisez la fréquence, la pertinence et la similarité pour donner vie à vos données textuelles.

Exercise 1: Représentation sac de mots Exercise 2: Construire le vocabulaire à partir des avis des clients Exercise 3: Transformer du texte en nombres avec BoW Exercise 4: Analyse de la fréquence des évaluations de produits

Exercice en cours

Exercise 5: Visualiser les fréquences des mots Exercise 6: Vectorisation TF-IDF Exercise 7: Représentation TF-IDF des commentaires sur les produits Exercise 8: Comparer les représentations BoW et TF-IDF Exercise 9: Embeddings Exercise 10: Explorer les relations entre les mots avec des embeddings Exercise 11: Visualiser et comparer des plongements de mots

Exploitez la puissance des modèles préentraînés pour réaliser des tâches avancées de classification de texte. Utilisez les pipelines Hugging Face pour l'analyse des sentiments, la classification thématique et l'inférence en langue naturelle. Évaluez la similarité sémantique et la correction grammaticale avec des modèles de pointe, le tout sans repartir de zéro.

Exercise 1: Pipelines Hugging Face pour l'analyse des sentiments Exercise 2: Analyser le sentiment d'un avis Exercise 3: Classer plusieurs avis en lot Exercise 4: Comparer des modèles sur des données d'évaluations étiquetées Exercise 5: Classification zéro donnée et QNLI Exercise 6: Classification zero-shot des billets de soutien Exercise 7: Le texte répond-il à la question ?Exercise 8: Similarité des questions et acceptabilité grammaticale Exercise 9: Détecter les questions en double Exercise 10: Vérifier la correction grammaticale

Plongez au cœur des applications modernes du NLP avec la classification de jetons et les techniques de génération de texte. Apprenez à extraire des entités et des structures grammaticales pertinentes grâce à la reconnaissance d'entités nommées (NER) et à l'étiquetage PoS. Maîtrisez les approches de question-réponse extractive et abstractive, et explorez des tâches avancées de génération, dont le résumé automatique, la traduction et la modélisation de langue, en utilisant les pipelines Hugging Face.

Exercise 1: Classification de jetons Exercise 2: Identifier les entités nommées dans des titres de nouvelles Exercise 3: Étiquetage des parties du discours pour l'analyse de texte Exercise 4: Répondre aux questions Exercise 5: Répondre aux questions à partir des descriptions de produits Exercise 6: Générer des réponses naturelles avec la QA abstractive Exercise 7: Tâches de génération de séquences Exercise 8: Résumer des articles de presse pour aller à l'essentiel Exercise 9: Traduire les avis des clients en français Exercise 10: Créer un système de saisie semi-automatique pour la recherche Exercise 11: Félicitations