Agora, você usará o novo corpus e dicionário gensim para ver os termos mais comuns por documento e em todos os documentos. Você pode usar seu dicionário para procurar os termos. Tente adivinhar quais são os tópicos e sinta-se à vontade para explorar mais documentos no IPython Shell!

Você tem acesso aos objetos dictionary e corpus que criou no exercício anterior, bem como aos objetos Python defaultdict e itertools para ajudar na criação de estruturas de dados intermediárias para análise.

defaultdict nos permite inicializar um dicionário que atribuirá um valor padrão a chaves inexistentes. Ao fornecer o argumento int, você pode garantir que todas as chaves inexistentes recebam automaticamente um valor padrão de 0. Isso o torna ideal para armazenar as contagens de palavras neste exercício.
itertools.chain.from_iterable() nos permite iterar em um conjunto de sequências como se fossem uma sequência contínua. Usando essa função, podemos iterar facilmente pelo nosso objeto corpus (que é uma lista de listas).

O quinto documento de corpus é armazenado na variável doc, que foi classificada em ordem decrescente.

Etapas de pré-processamento de texto

Introdução ao processamento de linguagem natural em Python

Exercício interativo prático