Skapa och fråga ett korpus med gensim

Nu är det dags att använda metoderna från föregående video för att skapa din första gensim-ordbok och ditt första korpus!

Du kommer att använda dessa datastrukturer för att undersöka ordtrender och potentiellt intressanta ämnen i din dokumentsamling. Som startpunkt har vi importerat ett antal ytterligare artiklar från Wikipedia som förbehandlats genom att alla ord gjorts om till gemener, tokeniserats samt rensats från stoppord och skiljetecken. Artiklarna lagrades sedan i en lista med dokumenttokens kallad articles. Du behöver göra lite lätt förbehandling och sedan generera gensim-ordboken och korpuset.

Den här övningen är en del av kursen

Introduktion till naturlig språkbehandling i Python

Visa kurs

Övningsinstruktioner

Importera Dictionary från gensim.corpora.dictionary.
Initiera en gensim Dictionary med tokens från articles.
Hämta id:t för "computer" från dictionary. Använd metoden .token2id som returnerar id:n från text, och kedja sedan .get() som returnerar tokens från id:n. Skicka in "computer" som argument till .get().
Använd en listuppfattning där du itererar över articles för att skapa ett gensim MmCorpus från dictionary.
- Använd metoden .doc2bow() på dictionary med article som argument i utdatauttrycket.
Skriv ut de första 10 ord-id:na med deras frekvensräkningar från det femte dokumentet. Det här steget är redan gjort åt dig – klicka på 'Skicka in svar' för att se resultaten!

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Import Dictionary
____

# Create a Dictionary from the articles: dictionary
dictionary = ____(____)

# Select the id for "computer": computer_id
computer_id = ____.____.get("____")

# Use computer_id with the dictionary to print the word
print(dictionary.get(computer_id))

# Create a MmCorpus: corpus
corpus = [____.____(____) for article in articles]

# Print the first 10 word ids with their frequency counts from the fifth document
print(corpus[4][:10])

Redigera och kör kod