Créer et interroger un corpus avec gensim

Il est temps d'appliquer les méthodes vues dans la vidéo précédente pour créer votre premier dictionnaire et corpus gensim!

Vous utiliserez ces structures de données pour examiner les tendances de mots et repérer des thèmes potentiellement intéressants dans votre ensemble de documents. Pour commencer, nous avons importé quelques articles supplémentaires et brouillons de Wikipédia, qui ont été prétraités en mettant tous les mots en minuscules, en les tokenisant et en retirant les mots vides et la ponctuation. Ils ont ensuite été stockés dans une liste de jetons de documents nommée articles. Vous aurez un léger prétraitement à faire, puis vous générerez le dictionnaire et le corpus gensim.

Cette activité fait partie du cours

Introduction au traitement du langage naturel en Python

Voir le cours

Instructions de l’exercice

Importez Dictionary depuis gensim.corpora.dictionary.
Initialisez un Dictionary de gensim avec les jetons dans articles.
Obtenez l'identifiant de "computer" à partir de dictionary. Pour ce faire, utilisez sa méthode .token2id, qui retourne les identifiants à partir du texte, puis enchaînez avec .get(), qui retourne les jetons à partir des identifiants. Passez "computer" comme argument à .get().
Utilisez une compréhension de liste dans laquelle vous itérez sur articles pour créer un MmCorpus de gensim à partir de dictionary.
- Dans l'expression de sortie, utilisez la méthode .doc2bow() sur dictionary avec article comme argument.
Affichez les 10 premiers identifiants de mots avec leur fréquence pour le cinquième document. Cela a été fait pour vous, alors cliquez sur "Soumettre la réponse" pour voir les résultats!

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import Dictionary
____

# Create a Dictionary from the articles: dictionary
dictionary = ____(____)

# Select the id for "computer": computer_id
computer_id = ____.____.get("____")

# Use computer_id with the dictionary to print the word
print(dictionary.get(computer_id))

# Create a MmCorpus: corpus
corpus = [____.____(____) for article in articles]

# Print the first 10 word ids with their frequency counts from the fifth document
print(corpus[4][:10])

Modifier et exécuter le code