Ora userai il tuo gensim corpus e il dizionario per vedere i termini più comuni per documento e in tutti i documenti. Puoi usare il dizionario per cercare i termini. Prova a indovinare quali sono i topic e sentiti libero di esplorare altri documenti nella IPython Shell!

Hai accesso agli oggetti dictionary e corpus creati nell’esercizio precedente, oltre a defaultdict di Python e itertools per aiutarti a creare strutture dati intermedie per l’analisi.

defaultdict permette di inizializzare un dizionario che assegna un valore predefinito alle chiavi inesistenti. Passando l’argomento int, ci assicuriamo che qualsiasi chiave inesistente riceva automaticamente il valore predefinito 0. Questo lo rende ideale per memorizzare i conteggi delle parole in questo esercizio.
itertools.chain.from_iterable() ci consente di iterare su un insieme di sequenze come se fossero un’unica sequenza continua. Usando questa funzione, possiamo iterare facilmente sul nostro oggetto corpus (che è una lista di liste).

Il quinto documento di corpus è memorizzato nella variabile doc, che è già stato ordinato in ordine decrescente.

Cosa sono i word vectors?

Introduzione al Natural Language Processing in Python

Esercizio pratico interattivo