Nu ska du använda ditt nya gensim-korpus och din ordbok för att hitta de vanligaste termerna per dokument och över hela korpusen. Du kan använda din ordbok för att slå upp termerna. Försök gissa dig till vilka ämnen det handlar om och utforska gärna fler dokument i IPython Shell!

Du har tillgång till objekten dictionary och corpus som du skapade i föregående övning, samt Python-modulerna defaultdict och itertools för att underlätta skapandet av mellanliggande datastrukturer för analys.

defaultdict låter oss initiera en ordbok som tilldelar ett standardvärde till nycklar som inte finns. Genom att skicka in argumentet int ser vi till att alla saknade nycklar automatiskt tilldelas standardvärdet 0. Det gör den idealisk för att lagra ordräkningar i den här övningen.
itertools.chain.from_iterable() låter oss iterera igenom en uppsättning sekvenser som om de vore en enda sammanhängande sekvens. Med den här funktionen kan vi enkelt iterera igenom vårt corpus-objekt (som är en lista av listor).

Det femte dokumentet från corpus finns lagrat i variabeln doc, sorterad i fallande ordning.

Vad är ordvektorer?

Introduktion till naturlig språkbehandling i Python

Interaktiv övning med praktiskt arbete