Vous allez maintenant utiliser votre nouveau corpus et votre dictionnaire gensim pour voir les termes les plus fréquents par document et dans l'ensemble des documents. Vous pouvez utiliser votre dictionnaire pour retrouver les termes. Devinez quels sont les sujets et n'hésitez pas à explorer d'autres documents dans l'IPython Shell!

Vous avez accès aux objets dictionary et corpus créés à l'exercice précédent, ainsi qu'à defaultdict de Python et à itertools pour vous aider à créer des structures de données intermédiaires pour l'analyse.

defaultdict nous permet d'initialiser un dictionnaire qui attribue une valeur par défaut aux clés inexistantes. En fournissant l'argument int, on s'assure que toute clé absente reçoit automatiquement la valeur par défaut 0. C'est idéal pour stocker les comptes de mots dans cet exercice.
itertools.chain.from_iterable() nous permet d'itérer à travers un ensemble de séquences comme s'il s'agissait d'une seule séquence continue. Grâce à cette fonction, on peut parcourir facilement notre objet corpus (qui est une liste de listes).

Le cinquième document de corpus est stocké dans la variable doc, qui a été triée en ordre décroissant.

Étapes de prétraitement du texte

Introduction au traitement du langage naturel en Python

Exercice interactif pratique