Sac de mots avec Gensim
Vous allez maintenant utiliser votre nouveau corpus et votre dictionnaire gensim pour voir les termes les plus fréquents par document et dans l'ensemble des documents. Vous pouvez utiliser votre dictionnaire pour retrouver les termes. Devinez quels sont les sujets et n'hésitez pas à explorer d'autres documents dans l'IPython Shell!
Vous avez accès aux objets dictionary et corpus créés à l'exercice précédent, ainsi qu'à defaultdict de Python et à itertools pour vous aider à créer des structures de données intermédiaires pour l'analyse.
defaultdictnous permet d'initialiser un dictionnaire qui attribue une valeur par défaut aux clés inexistantes. En fournissant l'argumentint, on s'assure que toute clé absente reçoit automatiquement la valeur par défaut0. C'est idéal pour stocker les comptes de mots dans cet exercice.itertools.chain.from_iterable()nous permet d'itérer à travers un ensemble de séquences comme s'il s'agissait d'une seule séquence continue. Grâce à cette fonction, on peut parcourir facilement notre objetcorpus(qui est une liste de listes).
Le cinquième document de corpus est stocké dans la variable doc, qui a été triée en ordre décroissant.
Cette activité fait partie du cours
Introduction au traitement du langage naturel en Python
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Save the fifth document: doc
doc = corpus[4]
# Sort the doc for frequency: bow_doc
bow_doc = sorted(doc, key=lambda w: w[1], reverse=True)
# Print the top 5 words of the document alongside the count
for word_id, word_count in bow_doc[:5]:
print(dictionary.____(____), ____)
# Create the defaultdict: total_word_count
total_word_count = ____
for word_id, word_count in itertools.chain.from_iterable(corpus):
____[____] += ____