Lematização
Enquanto continuava a sua análise das avaliações dos usuários, você percebeu que a derivação morfológica às vezes gera palavras não padrão, como “fli” a partir de “flying”, o que pode reduzir a interpretabilidade. Para resolver isso, agora você vai usar a lematização, que mostra as palavras de verdade e ajuda a deixar sua análise mais clara e precisa.
WordNetLemmatizer
foi importado, stop_words
foi definido e os recursos NLTK necessários foram baixados.
Este exercício faz parte do curso
Processamento de Linguagem Natural (NLP) em Python
Instruções do exercício
- Crie uma instância
lemmatizer
da classeWordNetLemmatizer()
. - Use o
lemmatizer
para lematizar olower_tokens
.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create lemmatizer
lemmatizer = ____()
# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]
print(lemmatized_tokens)