Öva på textförbehandling

Nu är det din tur att tillämpa de tekniker du lärt dig för att rensa text inför bättre NLP-resultat. Du behöver ta bort stoppord och icke-alfabetiska tecken, lemmatisera och sedan skapa ett nytt bag-of-words på den rensade texten.

Du börjar med samma tokens som du skapade i förra övningen: lower_tokens. Du har också klassen Counter importerad.

Den här övningen är en del av kursen

Introduktion till naturlig språkbehandling i Python

Visa kurs

Övningsinstruktioner

Importera klassen WordNetLemmatizer från nltk.stem.
Skapa en lista alpha_only som bara innehåller alfabetiska tecken. Du kan använda metoden .isalpha() för att kontrollera detta.
Skapa ytterligare en lista kallad no_stops med ord från alpha_only som inte finns i english_stops.
Initiera ett WordNetLemmatizer-objekt kallat wordnet_lemmatizer och använd dess .lemmatize()-metod på tokenerna i no_stops för att skapa en ny lista kallad lemmatized.
Skapa en ny Counter kallad bow med de lemmatiserade orden.
Skriv slutligen ut de 10 vanligaste tokenerna.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Import WordNetLemmatizer
____

# Retain alphabetic words: alpha_only
alpha_only = [t for t in ____ if ____]

# Remove all stop words: no_stops
no_stops = [t for t in ____ if t not in ____]

# Instantiate the WordNetLemmatizer
wordnet_lemmatizer = ____

# Lemmatize all tokens into a new list: lemmatized
lemmatized = [____ for t in ____]

# Create the bag-of-words: bow
bow = ____(____)

# Print the 10 most common tokens
print(____.____(__))

Redigera och kör kod