Agora, você vai usar seu novo corpus e dicionário do gensim para ver os termos mais comuns por documento e em todos os documentos. Você pode usar o dicionário para consultar os termos. Arrisque quais são os tópicos e fique à vontade para explorar mais documentos no IPython Shell!

Você tem acesso aos objetos dictionary e corpus criados no exercício anterior, além de defaultdict do Python e itertools para ajudar a criar estruturas de dados intermediárias para análise.

defaultdict permite inicializar um dicionário que atribui um valor padrão a chaves inexistentes. Fornecendo o argumento int, garantimos que qualquer chave inexistente receba automaticamente o valor padrão 0. Isso é ideal para armazenar as contagens de palavras neste exercício.
itertools.chain.from_iterable() permite iterar por um conjunto de sequências como se fosse uma sequência contínua. Com essa função, podemos iterar facilmente pelo nosso objeto corpus (que é uma lista de listas).

O quinto documento de corpus está armazenado na variável doc, que foi ordenada em ordem decrescente.

Etapas de pré-processamento de texto

Introdução ao Processamento de Linguagem Natural em Python

Exercício interativo prático