Construire un Counter avec sac de mots

Dans cet exercice, vous allez créer votre premier compteur sac de mots (dans ce cours) à partir d'un article Wikipédia, déjà chargé dans article. Essayez de faire le sac de mots sans lire le texte complet de l'article et devinez le sujet ! Si vous voulez jeter un coup d'œil au titre à la fin, il est disponible dans article_title. Notez que le texte de cet article a subi très peu de prétraitement à partir de l'entrée brute de la base de données de Wikipédia.

word_tokenize a été importé pour vous.

Cette activité fait partie du cours

Introduction au traitement du langage naturel en Python

Voir le cours

Instructions de l’exercice

Importez Counter depuis collections.
Utilisez word_tokenize() pour découper l'article en jetons.
Utilisez une compréhension de liste avec t comme variable d'itération pour convertir tous les jetons en minuscules. La méthode .lower() convertit le texte en minuscules.
Créez un compteur sac de mots nommé bow_simple en utilisant Counter() avec lower_tokens comme argument.
Utilisez la méthode .most_common() de bow_simple pour afficher les 10 jetons les plus fréquents.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import Counter
____

# Tokenize the article: tokens
tokens = ____

# Convert the tokens into lowercase: lower_tokens
lower_tokens = [____ for ____ in ____]

# Create a Counter with the lowercase tokens: bow_simple
bow_simple = ____

# Print the 10 most common tokens
print(____)

Modifier et exécuter le code